Time-of-Flight Kameratechnik fur Augmented Reality in der computergestutzten Chirurgie

Abstract

Kurzfassung. Medizinische Interventionen werden zunehmend durch Augmented Reality unterstutzt, um aus pra-operativen Bildern zusatzliche Informationen uber die Anatomie und Pathologie des Patienten zu erhalten. Dazu bedarf es einer Registrierung mit einer intra-operativen Bildgebungsmodalitat wie C-Bogen Computertomograph (CT), Ultraschall oder Endoskop. In diesem Beitrag untersuchen wir das Potential der neuartigen Time-of-Flight (ToF) Kameratechnik fur die markerlose Registrierung. Dafur wurden korrespondierende CT- und ToFAufnahmen je einer explantierter Leber von Schwein und Mensch akquiriert, die vor den Aufnahmen mit Zielmarkern ausgestattet wurden. Durch die angewendete Registrierungsmethode wurden die CT-Marker auf die 2D ToF-Marker aus dem ToF-Intensitatsbild abgebildet und der 2D Target Visualization Error (TVE) als Qualitatsma bestimmt. Zusatzlich wurden Videoaufnahmen der untersuchten Organe gemacht, um den 2D TVE einer bekannten marker-basierten Registrierungsmethode zur Schatzung der Kameraposition (Inside-Out Tracking) bestimmen zu konnen. Die ToF-basierte markerlose Registrierung ergab einen mittleren TVE von 2.3 1.3 mm. Im Vergleich dazu lag der TVE der markerbasierten Registrierung bei 0.9 0.4 mm.

-

Der Einsatz von Augmented Reality (AR) zur U¨ berlagerung von intra-operativen (IO) Videos mit pra¨-operativen (PO) Informationen u¨ber die Anatomie und Pathologie des Patienten findet in der navigierten medizinischen Intervention zunehmendes Interesse. Computergestu¨tze Diagnose- und Planungssysteme sind in der klinischen Routine bereits etabliert, die Registrierung von Planungsdaten mit dem Patienten zum Interventionszeitpunkt ist jedoch noch eine große Herausforderung auf dem Weg zur computergestu¨tzen Therapie. Fu¨r die dazu beno¨tigte Registrierung von PO Daten mit dem Patienten ist eine IO Bildakquise notwendig. In der Vergangenheit wurden verschiedene Modalita¨ten fu¨r die IO Aufnahme von Patienteninformationen vorgeschlagen. Feuerstein et al. [ 1 ] benutzten eine marker-basierte co-registrierte C-Bogen und Endoskop Konfiguration, mit der kalibrierte IO Computertomographie (CT)-Aufnahmen im Endoskopbild visualisiert werden ko¨nnen. Einen AR-Ansatz zur U¨berlagerung von Ultraschall-Daten mit PO CT-Daten durch Registrierung von Landmarken im Blutgefa¨ßbaum stellten Lange et al. [ 2 ] vor. Baumhauer et al. [ 3 ] pra¨sentierten ein System fu¨r die laparoskopische Prostatektomie und partielle Nephrektomie mit einem marker-basierten Inside-Out Trackingansatz (Abschn. 2.2). Diese Ansa¨tze bedienen sich natu¨rlicher oder ku¨nstlicher Landmarken fu¨r die IO Registrierung. Eine innovative Alternative zu den etablierten IO Bildgebungsmodalita¨ten stellt die Time-of-Flight (ToF) Kamera dar, die eine dichte Erfassung der Tiefeninformationen einer Szene in Echtzeit ermo¨glicht. Durch Limitationen dieser jungen Technik, wie systematische Fehler und Rauschen der Messdaten, wird die Bestimmung des Registrierungsfehlers erforderlich. In diesem Beitrag untersuchen wir die Eignung der ToF-Kamera fu¨r die markerlose IO Registrierung, indem wir ToF-Aufnahmen mit korrespondierenden CT-Aufnahmen von je einer explantierten Leber von Schwein und Mensch registrieren und das Ergebnis mit dem Ergebnis einer bereits publizierten marker-basierten Registrierungsmethode zur Bestimmung der Kameraposition (Inside-Out Trackingansatz) [ 3 ] vergleichen. 2

Material und Methoden

Fu¨r PO Planungsdaten und IO Bilddaten, die von verschiedenen Bildquellen aufgenommen wurden, ist die Registrierung eine Voraussetzung fu¨r AR-Anwendungen. In diesem Abschnitt beschreiben wir die von uns verwendeten Methoden zur ToF-basierten IO Registrierung (Abschn. 2.1) und zur marker-basierten Kamerapositionsscha¨tzung publiziert von Baumhauer et al. [ 3 ] (Abschnitt 2.2). Diese Methoden vergleichen wir mittels in das Organ eingebrachter farbiger Marker (Abb. 1), die als Zielpunkte fu¨r die Evaluation dienen. Als Qualita¨tsmaß fu¨r die Registrierung verwenden wir den 2D Target Visualization Error (TVE), der an diesen Markern auftritt. Einige dieser Marker werden zudem als LandmarAbb. 1. Setup zur Aufnahme der Daten mit Time-of-Flight (ToF) Kamera und menschlicher Leber mit integrierten Farbmarkern im Computertomographen (CT). ken verwendet, um schnell gute Transformationen fu¨r die initiale Ausrichtung zu erhalten. Die Experimente, werden in Abschn. 2.3 beschrieben. 2.1

Markerlose ToF-basierte Registrierung

ToF-Kameras generieren simultan zwei Bilder, ein Distanzbild in dem pixelweise die Tiefeninformation der betrachteten Szene abbgebildet ist und ein grauwertskaliertes Intensita¨tsbild. Um das Intensita¨tsbild mit Informationen aus dem CT-Planungsdatensatz anzureichern, beno¨tigt man (1) eine Vorverarbeitung der ToF-Daten, (2) die Erstellung von Organoberfla¨chen und 3D Markersets aus den Distanzbildern und (3) das Matching der Organoberfla¨che aus den CT-Daten auf die partielle ToF-Oberfla¨che. 1. Vorverarbeitung: Die Distanz- und Intensita¨tsbildserien werden mit einem u¨ber die Zeitachse arbeitenden Medianfilter entrauscht und mit einem Bilateral Filter gegla¨ttet. Zur Korrektur der Objektivverzerrungen wird die laterale Kalibrierung nach Zhang et al. [ 4 ] angewendet. Aus den Intensita¨tsbildern werden die Markerpositionen manuell und die Organe mittels Maskierung markiert und auf das Distanzbild zur Segmentierung u¨bertragen. Optional werden Reflektionsfehler auf der Organoberfla¨che u¨ber eine Distanzschwellwert eliminiert. 2. 3D-Objekterzeugung: Mittels der intrinsischen ToF-Kameraparameter werden aus den Pixeln des segmentierten Distanzbildes die 3D Koordinaten bestimmt, die zu einer 3D Oberfla¨che trianguliert werden. Die Markerpositionen werden mittels der intrinsischen ToF-Kameraparameter und der Distanz, die der Bildposition zugeordnet ist, in ein 3D Markerset u¨berfu¨hrt. 3. Registrierung: Fu¨r die grobe Ausrichtung der Oberfla¨chen wird ein Teil der Marker, die punkt-basiert rigide registriert werden, verwendet, um schnell eine gute initiale Transformation zu erhalten. Markerlos kann die initiale Ausrichtung mit graphbasierten Methoden etwa nach [ 5 ] realisiert werden. Auf diese Vor-Ausrichtung der Oberfla¨chen wird ein ICP-Algorithmus angewendet. Die dadurch erhaltene Transformation wird mit der initialen Transformation aus der rigiden punkt-basierten Registrierung komponiert. Mit der inversen Transformation und den intrinsischen ToF-Kameraparametern werden die CT-Oberfla¨che und das 3D CT-Markerset in das ToF-Intensita¨tsbild ru¨ckprojiziert. Fu¨r jeden projizierten 2D CT-Marker und korrespondierenden 2D ToF-Marker wird der TVE u¨ber die euklidische Distanz bestimmt. 2.2

Marker-basierte Registrierung

Als Vergleichsmaß fu¨r die Qualita¨t der ToF-basierten Registrierung wird eine Methode zur marker-basierten Scha¨tzung der Kameraposition [ 3 ] angewendet. Diese Methode benutzt ein Videoaufnahmen und einen CT-Planungsdatensatz desselben Objekts, in das vorab farbige Marker eingebracht werden, die u¨ber ihren HSV-Farbwert segmentiert werden. Fu¨r die Registrierung werden die initial gescha¨tzte Kameraposition, das CT-Markerset und Videomarkerset ausgerichtet,

TVE Mittelwert SD / mm MAX / MIN / mm Tabelle 1. TVE fur die ToF-basierte (ToF) und die marker-basierte (InOut) Methode. Die Ergebnisse wurden uber alle Zielmarker (ToF: n=24, InOut : n=45) gemittelt.

Schweineleber ToF bis ein Schwellwert, der die U¨ berlagerungsqualita¨t der Markersets beschreibt, erreicht wird. Die so erhaltene Kameraposition zeigt das Videobild mit der u¨berlagerten CT-Planung (Abb. 2 b). Der TVE als Qualita¨tsmaß wird u¨ber Ru¨ckprojektion der CT-Marker in das Videobild bestimmt. Dafu¨r wird die euklidische Distanz zwischen korrespondierenden Markerpositionen berechnet. Die verwendeten Daten wurden mittels drei verschiedener Bildquellen aufgezeichnet - CT-Scanner, ToF-Kamera und Videokamera. Die Aufnahmen wurden an je einer explantierten Menschen- und Schweineleber in einem CT-Interventionsraum durchgefu¨hrt, um Deformationen der Organe durch Transportbewegungen zu minimieren. In die Organe wurden vor den Aufnahmen elf farbige Marker eingebracht. Mit der Videokamera wurden handgehaltene Schwenks u¨ber das jeweilige Organ gemacht. Die ToF-Kamera wurde fu¨r die Aufnahmen in einer Entfernung von 50 cm fest montiert (Abb. 1). Die Organaufnahmen wurden dreimal mit vera¨nderter Kombination von Ziel- und Registrierungsmarkern verwendet, um eine Vera¨nderung in der initialen Ausrichtung zu erhalten. Die Registrierungsmarker wurden nicht zur Bestimmung des TVE verwendet. Die marker-basierte Kamerapositionsscha¨tzung wurde zusa¨tzlich auf drei verschiedenen Bildern der Videoaufnahme wiederholt, um unterschiedliche Ansichten des Organs zu beru¨cksichtigen. Fu¨r die ToF-basierte Registrierung wurden pro Durchlauf an 8 von 11 Markern der TVE bestimmt, bei der marker-basierten Registrierung an 5 von 10 Markern, da der weiße Marker nicht segmentiert werden konnte. 3

Ergebnisse

Tabelle 1 zeigt die Mittelwerte der euklidischen Distanzen, die Standardabweichung (SD) und das Maximum/Minimum fu¨r die untersuchten Organe und Registrierungsmethoden. Der mittlere TVE fu¨r beide Organe liegt bei 2.3 1.3 mm fu¨r ToF und 0.9 0.4 mm fu¨r die Inside-Out Methode (hier: InOut). Abb. 2 zeigt ein exemplarisches Registrierungsergebnis fu¨r beide Methoden. Abb. 2. Ergebnisse: Zielpositionen (grun), geschatzte CT-Zielpunkte (rot), eingeblendete CT-Segmentierung mit geschatzten CT-Zielpunkten (schwarz).

(a) ToF Intensitatsbild (b) Videobild 4

Diskussion

In diesem Beitrag wurden erstmals ToF-Aufnahmen im Kontext der IO Registrierung untersucht. Dazu wurde der Fehler der markerlosen rigiden Registrierung mit dem einer etablierten marker-basierten rigiden Methode verglichen. Zum ersten Mal wurden hierfu¨r Aufnahmen an einem explantierten menschlichen Organ, das nicht transplantiert werden konnte, gemacht. Ein mittlerer 2D TVE von weniger als 2.5 mm zeigt die generelle Eignung der ToF-Kamera als IO Bildquelle. Die erwartungsgema¨ß besseren Ergebnisse fu¨r den marker-basierten Inside-Out Trackingansatz sind auf die u¨berlegende Auflo¨sung der Videokamera und auf das hohe Rauschlevel und systematische Fehler der ToF-Kamera zuru¨ckzufu¨hren. Zuku¨nftig soll deshalb eine Kalibrierung der systematischen Fehler in das System integriert werden. Weitere Ziele sind die Integration der graphbasierten initialen Ausrichtung fu¨r die Registrierung [ 5 ] und eine nicht-rigide Volumenregistrierung basierend auf einem biomechanischen Modell, a¨hnlich dem von Cash et al. [ 6 ] vorgestellten Modell zur Registrierung von CT- mit Laserscanner-Daten. Literaturverzeichnis

References

1. Feuerstein M , et al. Intraoperative laparoscope augmentation for port placement and resection planning in minimally invasive liver resection . IEEE Trans Med Imaging . 2008 ; 27 ( 3 ): 355 { 69 .

2. Lange T , et al. 3D ultrasound-CT registration of the liver using combined landmarkintensity information . Int J CARS . 2009 ; 4 ( 1 ): 79 { 88 .

3. Baumhauer M , et al. Soft tissue navigation for laparoscopic partial nephrectomy . Int J CARS . 2008 ; 3 ( 4 ): 307 { 14 .

4. Zhang Z. A exible new technique for camera calibration . IEEE Trans Pattern Anal Mach Intell . 2000 ; 22 ( 11 ): 1330 { 4 .

5. dos Santos TR , et al. Correspondences Search for Surface-Based Intra-Operative Registration . Lect Notes Computer Sci. 2010 ; 6362 : 660 { 7 .

6. Cash DM , et al. Concepts and preliminary data toward the realization of imageguided liver surgery . J Gastrointest Surg . 2007 ; 11 ( 7 ): 844 { 59 .