In diesem Beitrag soll ein für 2D Bilder bereits erfolgreich eingesetztes Verfahren für die automatische Objektlokalisierung auf 3D Problematiken erweitert und die Einsetzbarkeit des Verfahrens für 3D Daten gezeigt werden. Das Verfahren der Objektlokalisierung basiert dabei auf der Generalisierten Hough Transformation (GHT), bei der das dort verwendete Formmodell mit individuellen Punktgewichten ausgestattet wird, die im Abstimmverfahren der GHT zum Einsatz kommen und so die Genauigkeit des Verfahrens verbessern. Diese Punktgewichte werden mittels eines diskriminativen Lernverfahrens bezüglich eines minimalen Lokalisierungsfehlers in der GHT optimiert. Die trainierten Punktgewichte erhöhen dabei nicht nur die Genauigkeit der GHT, sondern bewerten auch die Wichtigkeit eines Punktes, so dass unwichtige Punkte aus dem Modell entfernt werden können. Kleinere Modelle führen zu kürzen Laufzeiten, was den Einsatz des Verfahrens auch für 3D Aufgabenstellungen praktikabel macht. Die Stärke des Verfahrens soll hier am Beispiel der Lokalisierung der Leber, die meist eine recht starke Variabilität aufweist, gezeigt werden.
Wie bereits in der Einleitung erwähnt wurde, besteht das Verfahren aus zwei Modulen, auf die im Folgenden näher eingegangen werden soll.
Für die Objektlokalisierung wird die GHT [
In der Standard-GHT haben alle Modellpunkte einen gleich starken Einfluss auf die Lokalisierung. Bei jedem Objekt gibt es jedoch Gebiete, die charakteristisch sind und somit in allen Bildern ähnlich aussehen, und wiederum andere die recht stark variieren. Dieses soll hier im Modell berücksichtigt werden, indem für jeden Modellpunkt ein individuelles Gewicht bestimmt wird, welches im Abstimmprozess der GHT verwendet werden soll. Dabei sollen Punkte, die das Zielobjekt robust beschreiben, höhere Gewichte bekommen und Punkte, die nur bei sehr wenigen Bildern passen, ein niedriges Gewicht erhalten, so dass sie später über ihr Gewicht identifiziert und aus dem Modell entfernt werden können. Des Weiteren können auch negative Gewichte vergeben werden, um das Modell von verwechselbaren Strukturen abzustoßen und so eine falsch-positive Lokalisierung zu vermeiden.
Für die Ermittlung dieser Modellpunktgewichte wird ein diskriminatives Lernverfahren [3] herangezogen, das
erstmalig in der Spracherkennung eingesetzt wurde. Bei diesem Lernverfahren wird die Dimensionalität der Bilder nicht
berücksichtigt, so dass es direkt für die drei dimensionalen Bilder anwendbar ist. In dem Verfahren wird jeder
Modellpunkt mit seinem Beitrag zum Hough-Raum als individuelle Wissensquelle aufgefasst und diese Wissensquellen über
einen log-linearen Ansatz kombiniert. Die über den log-linearen Ansatz eingeführten Gewichte für die einzelnen
Wissensquellen sollen hier als Modellpunktgewichte verwendet werden. Um diese bestimmen zu können, wird eine
Fehlerfunktion definiert, die den Fehler in Abhängigkeit der Gewichte über alle Trainingsbilder akkumuliert und so eine
nahezu optimale Gewichtung der Wissensquellen ermittelt, bei der der Fehler über alle Bilder am kleinsten ist. Für eine
detailierte Herleitung und Erklärung der Bestimmung der Modellpunktgewichte verweisen wir den Leser auf [
Von den gegebenen Bildern werden 8 im Training der Modellpunktgewichte eingesetzt und 30 zu Testzwecken zurück behalten, um zu evaluieren, wie gut die Lokalisierungseigenschaften des Modells auf unbekannten Daten sind. Als Modell wird in diesem Beitrag ein mittleres Punktmodell der Leber mit 5120 Modellpunkten verwendet (s. Abb. 2, links). Als Referenzpunkt, bzw. Zielpunkt für die Leber wird ihr Schwerpunkt verwendet, der aus vorliegenden Segmentierungen der Daten berechnet wurde.
den Hough-Raum dar mit einem klar sichtbaren Maximum. In diesem Beispiel wurde der Referenzpunkt in der Leber mit einer Genauigkeit von 0.7 cm lokalisiert. Abbildung 3 zeigt ein weiteres Beispiel, bei dem die Lokalisierung mit dem untrainierten und trainierten Modell verglichen wird.
Die weiteren Ergebnisse der Leberlokalisierung mit dem gewichteten und ungewichteten Modell sind in Tabelle 1 zu finden. Mit dem ungewichteten Modell wird die Leber in 18 von 38 Bildern gefunden mit einem mittlerem Fehler von 4.7 cm, bzw. 4.3 cm auf den Test-, bzw. Trainingsbildern. Durch die hohe Variabilität der Leber ist die Durchführung der Standard-GHT mit einem mittleren Modell in vielen Fällen nicht erfolgreich. Wird ein gewichtetes Modell verwendet erhöht sich die Genauigkeit der GHT auf 2.8 cm auf den unbekannten Testdaten und die Leber kann in allen Bildern lokalisiert werden. Durch eine Reduktion des Modells auf 500 Punkte werden unwichtige Punkte entfernt, wobei die Lokalisierungsgenauigkeit erhalten bleibt. Diese Ergebnisse sind sehr zufriedenstellend, insbesondere wenn man die grobe Auflösung des Hough-Raumes von durchschnittlich 0.5 cm und die vage Annotation der Zielpunkte, die sich nur am Schwerpunkt der Leber und nicht an klar definierten anatomischen Strukturen orientieren, in Betracht zieht. Die gewichteten Modelle sind in Abb. 2 zu sehen. Dabei zeigt die linke Abbildung das komplette Modell, während die rechte Abbildung nur die 500 Punkte mit dem höchsten absoluten Gewicht darstellt. Aus dem rechten Bild wird ersichtlich, dass die obere Kante der Leber am robustesten für die Erkennung ist, da hier am wenigstens Variabilität auftritt. Hinzukommt, dass die Kante zwischen Leber und Lunge in allen Bildern gut zu erkennen ist. Die vordere Seite der Leber wurde mit negativen Gewichten versehen. Hierbei handelt es sich also um Punkte, die an einer anderen Stelle des Bildes besser passen und zu falschen Lokalisierungsergebnissen führen würden. Die laterale Seite der Leber erhielt nur niedrige Gewichte, da hier die Gefahr der Verwechslung mit der Körperaußenkontour besteht, wie in Abb. 3 für den Fall des untrainierten Modells gut zu erkennen ist.
Durch die Reduktion der Modellgröße verringert sich des Weiteren auch die Laufzeit des Verfahrens um 50%, wobei ca. 20s für Vorverarbeitungs- und Nachverarbeitungsschritte, wie z.B. das Ein- und Auslesen der Bilder, das Heruntersampeln und die Berechnung der Kanten, fallen. An dieser Stelle sollte dazu gesagt werden, dass das Verfahren bisher nicht laufzeitoptimiert ist. Insbesondere durch die gute Parallelisierbarkeit der verwendeten Methoden besteht hier noch ein hohes Potential für eine deutliche Reduktion der Laufzeit. 4
Der vorgestellte generelle Ansatz zur Objektlokalisierung zeigt auch auf 3D Daten zufriedenstellende Ergebnisse. Durch die individuelle Gewichtung der Modellpunkte konnte eine deutliche Erhöhung der Lokalisierungsgenauigkeit und eine
Fehler Trainingsbilder [cm] Fehler Testbilder [cm] Lokalisierungsrate [%] Laufzeit [s]
5120 4.3 ± 3.3 (10.1) 4.7 ± 2.8 (10.9) 47.4 49
Trainiertes Modell Tabelle 1: Vergleich des ungewichteten und gewichteten Modells. Angegeben sind die Anzahl der Modellpunkte, der Lokalisierungsfehler der erfolgreichen Lokalisierungen in cm (Format: Mittelwert ± Standardabweichung (Maximum)), die Anzahl der erfolgreichen Lokalisierungen in % und die durchschnittliche Laufzeit pro Bild in Sekunden.
Abb. 2: Die Abbildung zeigt das mittlere Modell der Leber (links), wobei die Punkte entsprechend ihres Gewichts farbkodiert wurden (rot = 1, blau = -1). Das rechte Bild zeigt die 500 Punkte des Modells mit dem höchsten absoluten Gewicht.
Reduktion der falsch-positiven Lokalisierungen erreicht werden. Die Schätzung von Rotations- und Skalierungsparametern für die Lokalisierung des Zielobjektes wird dabei durch die Gewichtung des Modells redundant. Ein großer Vorteil des Verfahrens besteht darin, dass es automatisch abläuft und ohne Anpassungen auf neue Aufgabenstellungen angewendet werden kann. Zwar wurde das Verfahren hier zu Vergleichszwecken unter Verwendung eines zuvor generierten, mittleren Modells vorgestellt, praktisch kann das Verfahren aber auch mit einer zufälligen Punktwolke arbeiten, da es selbständig die für das Zielobjekt relevanten Punkte identifiziert. Somit benötigt das Verfahren als Eingabe lediglich die Annotation des Zielpunktes in den Trainingsbildern, um ein diskriminatives Modell für die Lokalisierung zu erstellen.
Ein weiterer Vorteil der Methode liegt in der möglichen Reduktion der Modellgröße. Unwichtige Punkte, die keinen starken Beitrag zur Lokalisierung des Zielobjektes leisten, können anhand ihres niedrigen Gewichts identifiziert und aus dem Modell entfernt werden. Dieses führt zu einem klareren Ergebnis im Hough-Raum, da weniger störende Stimmen abgegeben werden, und einer deutlichen Reduktion der Laufzeit.
Das Verfahren wurde hier auf heruntergesampelten Bildern und einem relativ grob quantisierten Hough-Raum vorgestellt. Dieser hatte eine nahezu isotrope Auflösung von 0.5 cm im Mittel. Vor diesem Hintergrund ist die erreichte Lokalisierungsgenauigkeit von 2 cm im Mittel, was einem Fehler von 4 Voxeln entspricht, sehr zufriedenstellend. Sollte eine höhere Genauigkeit benötigt werden, kann jedoch auch mit voll aufgelösten Bildern gearbeitet oder ein mehrstufiger Ansatz verfolgt werden.
In diesem Beitrag sollte zunächst die Eignung des Verfahrens für 3D Bilder gezeigt werden. Um die Modelle, die in der
GHT verwendet werden, weiter zu verbessern, soll als nächster Schritt die iterative Modellbildung wie in [
Speech and Signal Processing, 1998 [4] T. Heimann, B. van Ginneken, M. Styner et al., Comparison and Evaluation of Methods for Liver Segmentation from CT Datasets, IEEE Transactions on Medical Imaging 28(8), 2009 [6] http://www.ircad.fr/softwares/3Dircadb/3Dircadb1/index.php?lng=en Abb. 3: Vergleich des Lokalisierungsergebnisses mit dem untrainierten Modell (links) und dem gewichteten (rechts) in axialer, koronaler und sagittaler Ansicht. Der von der GHT als bestes Ergebnis bestimmte Punkt wird durch das Fadenkreuz markiert. Zusätzlich sind das verwendete mittlere Modell (weiß) und die Segmentierung der Leber als Grundwahrheit (grün) eingezeichnet.