In-vitro Evaluation von endoskopischer Oberflächenrekonstruktion mittels Time-of-Flight-Kameratechnik A. Groch1 , S. Hempel2,5 , S. Speidel3 , K. Höller5,2 , R. Engelbrecht4 , J. Penne6 , A. Seitel1 , S. Röhl3 , K. Yung1 , S. Bodenstedt3 , F. Pflaum4 , T. Kilgus1 , H.-P. Meinzer1 , J. Hornegger2 , L. Maier-Hein1 1 Abt. Medizinische und Biologische Informatik, Deutsches Krebsforschungszentrum 2 Lehrstuhl für Mustererkennung, Universität Erlangen-Nürnberg 3 Institut für Anthropomatik, Karlsruher Institut für Technologie 4 Lehrstuhl für Hochfrequenztechnik, Universität Erlangen-Nürnberg 5 Forschungsgruppe für Minimal-invasive Interdisziplinäre Therapeutische Intervention am Klinikum rechts der Isar der Technischen Universität München 6 PMD Technologies GmbH, Siegen a.groch@dkfz-heidelberg.de Kurzfassung. Eine der größten Herausforderungen im Kontext von computergestützten Systemen für laparoskopische Eingriffe stellt die in- traoperative präzise und schnelle Rekonstruktion von Organoberflächen dar. Diese ermöglicht eine Registrierung präoperativer Planungsdaten auf die Patientenanatomie zur Einblendung von Ziel- und Risikostruk- turen in das Videobild. Vor diesem Hintergrund eröffnet die Time-of- Flight (ToF)-Kameratechnik aufgrund der schnellen und dichten 3D- Oberflächenvermessung neue Perspektiven für die laparoskopische com- puterassistierte Chirurgie. In diesem Beitrag stellen wir die erste in- vitro Evaluationsstudie zum Vergleich ToF-basierter endoskopischer mit Stereoskopie-basierter Oberflächenrekonstruktion vor. 1 Einleitung Während der letzten Jahre erfahren computergestützte Assistenzsysteme für la- paroskopische Eingriffe zunehmend Aufmerksamkeit in Wissenschaft und Pra- xis. Solche Assistenzsysteme arbeiten in der Regel mit einem präoperativ er- stellten Patientenmodell, welches während der Operation auf die aktuell vorlie- gende Patientenanatomie übertragen wird [1]. Eine zuverlässige Registrierung präoperativer Planungsdaten erfordert die Akquise intraoperativer Lageinfor- mationen über die Zielregion, was im laparoskopischen Kontext häufig mittels 3D-Oberflächenrekonstruktion realisiert wird. Häufig angewandte Verfahren zur 3D-Oberflächenrekonstruktion basieren auf Multiple View Methoden“ insbe- ” sondere der Stereoskopie [2] [3]. Dabei wird eine Korrespondenzanalyse auf zwei oder mehreren Bildern aus verschiedenen Kamerapositionen durchgeführt, was mittels einer Triangulation eine 3D-Rekonstruktion der abgebildeten Szene er- laubt. Andere Ansätze nutzen die neue Time-of-Flight (ToF)-Technik [4], bei Evaluation endoskopischer Oberflächenrekonstruktion 185 der die von Distanz bzw. Flugdauer abhängige Phasenverschiebung eines mo- dulierten Lichtsignals nahe dem Infrarotsprektrum gemessen wird. Wegen der Möglichkeit, dichte Tiefendaten mit einer videoähnlichen Aktualisierungsrate zu generieren, gewinnt die ToF-Technik immer mehr an Aufmerksamkeit als Alter- native zu konventionellen Distanzmessungen. Erst kürzlich wurde das erste En- doskop, das auf der neuen Time-of-Flight (ToF)-Technik basiert, vorgestellt [5]. Das Potential im Kontext von endoskopischer Oberflächenrekonstruktion muss allerdings noch genauer untersucht werden. Wir stellen deswegen in dieser Arbeit eine erste in-vitro Evaluationsstudie zum Vergleich von ToF-basierter endosko- pischer mit Stereoskopie-basierter Oberflächenrekonstruktion vor. 2 Material und Methoden 2.1 Materialien ToF-Endoskop. Das kürzlich veröffentlichte erste Endoskop, das auf ToF-Ka- mera-Technik basiert [5], für diese Studie wie folgt angepasst: Eine kommerzi- elle ToF-Kamera (CamCube 2.0, PMD Technologies) mit einer Auflösung von 204 × 204 wurde an eine normale starre Endoskop-Optik (Panoview, 10mm, 0◦ , R. Wolf) angebracht. Die Veränderung erforderte eine Anpassung der Beleuch- tungseinheit. Dafür wurde die normale LED-Beleuchtungseinheit durch eine fa- sergekoppelte Laserdiode ersetzt, um das Laserlicht über den Lichtwellenleiter in den Beleuchtungskanal des Endoskops einzukoppeln. Stereoskop. Ein Stereoskop (3D Endocam, No. 5535.901, R. Wolf; Stereoskop, No. 8934.501, 10mm, 25◦ , R. Wolf) mit einer Auflösung von 640 × 480. Beide Kameras wurden mit anwendungsspezifischen Methoden kalibriert. 2.2 Oberflächenrekonstruktion Um eine entrauschte Oberfläche aus dem ToF-Endoskop zu erhalten, wurde der Median pixelweise von einer Sequenz n (default: n = 100) aufeinanderfolgender Bilder berechnet und das zu untersuchende Organ in dem Intensitätsbild segmen- tiert. Als nächstes wurde ein Bilateralfilter als kantenerhaltender Glättungsfilter auf die Median-Bilder angewandt. Als letztes wurde der Teil des Distanzbildes, der zuvor im Intensitätsbild segmentiert wurde, mit den intrinsischen Kame- raparametern ins Kartesische Koordinatensystem transformiert. Mit Hilfe einer Delaunay-basierten Triangulationsmethode konnte daraufhin ein Dreiecksnetz erstellt werden. Zur Stereo-Rekonstruktion wurde eine modifizierte Version des Hybriden Re- kursiven Matchings mit Subpixel-Genauigkeit angewandt [6]. Der HRM-Algo- rithmus nutzt Informationen aus der räumlichen und zeitlichen Nachbarschaft, um rekursiv eine dichte Disparitätskarte zu generieren. 186 Groch et al. 2.3 Evaluation Um einen zuverlässigen Oberflächenvergleich zu ermöglichen, wurden mehrere Organe (künstlich und vom Schwein) (Abb. 1 und Abb. 2 (c)) mit farbigen, nadelförmigen Markern bestückt. Als Goldstandard dienten extrahierte Oberflä- chen jedes Organs aus CT-Aufnahmen. Für die in Abschnitt 2.2 eingeführten Methoden zur Oberflächenrekonstruktion wurde folgender Workflow für jedes Organ durchgeführt: – Bildaufnahme: Die Oberflächendaten wurden aufgenommen. – Markereliminierung: Bei beiden Rekonstruktionsmethoden wurden die 3D- Positionen von mindestens vier Markern durch manuelle Lokalisation im 2D-Bild und anschließender Triangulation/3D-Koordinatenberechnung be- stimmt. Die Marker wurden daraufhin markiert und für den weiteren Re- konstruktionsprozess ignoriert. – Oberflächenrekonstruktion: Die Rekonstruktionsmethoden wurden zur Gene- rierung der Oberflächen auf die 2D-Bilder angewandt. – Oberflächenregistrierung: Eine punktbasierte Registrierung wurde durchge- führt, um die aus den Goldstandard-CT-Daten extrahierten Marker auf die korrespondierenden Markerpositionen aus der Triangulation der Endoskop- bilder abzubilden. Die resultierende rigide Transformation wurde zum Ali- gnment der Oberflächen benutzt. – Oberflächenvergleich: Die Distanzen zwischen den Punkten der rekonstruier- ten Oberfläche und der CT-Oberfläche wurden berechnet und ausgewertet. Weiterhin wurde die Anzahl der Knoten jeder Oberfläche und die Oberflä- chengröße durch Aufsummieren aller Dreiecksflächen bestimmt. Somit kann berücksichtigt werden, dass eine größere Oberfläche durch potentiell höhere Maximalabstände zu schlechteren Statistiken führen kann. 3 Ergebnisse Die Ergebnisse zur Evaluation der Oberflächenrekonstruktion mittels ToF-En- doskopie und Stereoskopie sind in Tabelle 1 zusammengefasst. Die über alle (a) Gelatineleber (b) Pelvi (c) Niere und Lunge in Pelvi Abb. 1. Phantome und Aufbau im Laparoskopietrainer Pelvi. Evaluation endoskopischer Oberflächenrekonstruktion 187 Tabelle 1. Statistische Kenngrößen der Distanz aller Punkte auf der jeweiligen rekon- struierten Oberfläche zur korrespondierenden Goldstandard-CT-Oberfläche. Gelatine Lunge Niere ToF Stereo ToF Stereo ToF Stereo Mittelwert [mm] 3.9 1.9 4.1 3.2 4.1 1.9 Standardabweichung [mm] 2.5 1.0 2.4 2.6 2.7 3.5 Maximum [mm] 11.5 6.0 8.8 11.7 13.2 108.8 Punkte gemittelte Abweichung der rekonstruierten Oberfläche zur Goldstandard- Oberfläche liegt bei Stereo bei 2.3 mm ± 0,8 mm und bei ToF bei 4.0 mm ± 0.1 mm, gemittelt über die Durschnittswerte der einzelnen Organe. Die mit Stereo rekonstruierten Oberflächen besitzen im Mittel 132207 ± 30303 Knoten und eine Größe von 4039 mm2 ± 2188 mm2 , die mit ToF rekonstruierten Oberflächen hingegen im Mittel nur 9766 ± 1276 Knoten und eine Größe von 1306 mm2 ± 509 mm2 . Ein Beispiel zweier mit Stereo bzw. ToF rekonstruierten Lungen- Oberflächen, die auf die dazugehörige CT-Oberfläche registriert wurden, ist in Abb. 2 zu sehen. 4 Diskussion In dieser in-vitro Evaluation wurde erstmals die Oberflächenrekonstruktion mit- tels der neu entwickelten ToF-Endoskopie-Technik mit einer State-of-the-Art 8.8 mm 11.7 mm 0 mm 0 mm (a) ToF (b) Stereo (c) Foto Abb. 2. Oberflächen der Lunge rekonstruiert mit (a) dem ToF-Endoskop und (b) dem Stereoskop, welche mit einer rigiden Transformation anhand einer marker-basierten Re- gistrierung auf die korrespondierende Goldstandard-CT-Oberfläche abgebildet wurden. Die Farbe der rekonstruierten Oberfläche gibt die Distanz zur CT-Oberfläche (grau) an. (c) zeigt die ursprüngliche Schweinelunge im Pelvi-Trainer. 188 Groch et al. Rekonstruktionsmethode basierend auf Stereoskopie verglichen. Die Studie deu- tet darauf hin, dass die Stereo-basierte Rekonstruktion bessere Oberflächen (ge- nauer und größer) erzeugt, wenn auch die ToF-basierte Rekonstruktion trotz des Prototyp-Charakters des ToF-Endoskops nur wenig schlechtere Genauig- keit aufweist. Da es sich um eine Studie mit relativ wenigen Daten handelte sowie manche Aspekte wie Größe der rekonstruierten Fläche, Aktualisierungs- rate der Rekonstruktion, etc. nur indirekt betrachtet oder ganz außer Acht ge- lassen wurden, planen wir eine größere Studie, bei der zusätzlich auch andere Methoden zur Oberflächenerzeugung wie Structure-from-Motion-Ansätze mit- einbezogen werden sollen. Von dieser Studie erhoffen wir uns, Rückschlüsse auf die Rekonstruktionsqualität im Zusammenhang von beeinflussenden Eigenschaf- ten wie Homogenität, Farbe oder Beschaffenheit der Organoberfläche ziehen zu können. Dieses Wissen soll dann für einen Fusionsansatz von ToF-basierter und Multiple-View-basierter Oberflächenrekonstruktion genutzt werden. Zusammenfassend lässt sich sagen, dass Stereoskopie im Moment die bessere Methode zur Oberflächenrekonstruktion ist. Durch die rasante Entwicklung der jungen ToF-Technik in den letzten Jahr und ihrer Vorteile gegenüber der Ste- reoskopie bei der Aktualisierungsrate oder der Dichte des Tiefenbildes sehen wir aber die ToF-Endoskopie als zukunftsträchtige Methode für die laparoskopische computergestützte Chirurgie. Danksagung. Vielen Dank an Herrn Prof. Dörfler und die Neuroradiologische Abteilung des Universitätsklinikums Erlangen für die CT-Aufnahmen und die Unterstützung, an die Forschungsgruppe für Minimal-invasive Interdisziplinäre Therapeutische Intervention am Klinikum rechts der Isar der TU München, sowie an die Graduate School of Information Science in Health, TU München. Literaturverzeichnis 1. Baumhauer M, et al. Navigation in endoscopic soft tissue surgery: perspectives and limitations. J Endourol. 2008;22(4):751–66. 2. Stoyanov D, et al. Real-time stereo reconstruction in robotically assisted minimally invasive surgery. Lect Notes Computer Sci. 2010; p. 275–282. 3. Wengert C, et al. Markerless endoscopic registration and referencing. Lect Notes Computer Sci. 2006; p. 816–23. 4. Kolb A, et al. Time-of-flight sensors in computer graphics. Eurographics State Art Rep. 2009; p. 119–34. 5. Penne J, et al. Time-of-flight 3-D endoscopy. Lect Notes Computer Sci. 2009; p. 467–74. 6. Röhl S, et al. Real-time surface reconstruction from stereo endoscopic images for intraoperative registration. In: Proc SPIE; 2011. p. to appear.