<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>In-vitro Evaluation von endoskopischer Oberfl¨achenrekonstruktion mittels Time-of-Flight-Kameratechnik</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>A. Groch</string-name>
          <email>a.groch@dkfz-heidelberg.de</email>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>S. Hempel</string-name>
          <xref ref-type="aff" rid="aff1">1</xref>
          <xref ref-type="aff" rid="aff4">4</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>S. Speidel</string-name>
          <xref ref-type="aff" rid="aff2">2</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>K. Ho¨ller</string-name>
          <xref ref-type="aff" rid="aff1">1</xref>
          <xref ref-type="aff" rid="aff4">4</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>R. Engelbrecht</string-name>
          <xref ref-type="aff" rid="aff3">3</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>J. Penne</string-name>
          <xref ref-type="aff" rid="aff5">5</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>A. Seitel</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>S. Ro¨hl</string-name>
          <xref ref-type="aff" rid="aff2">2</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>K. Yung</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>S. Bodenstedt</string-name>
          <xref ref-type="aff" rid="aff2">2</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>F. Pflaum</string-name>
          <xref ref-type="aff" rid="aff3">3</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>T. Kilgus</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>H.-P. Meinzer</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>J. Hornegger</string-name>
          <xref ref-type="aff" rid="aff4">4</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>L. Maier-Hein</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Abt. Medizinische und Biologische Informatik</institution>
          ,
          <addr-line>Deutsches Krebsforschungszentrum</addr-line>
        </aff>
        <aff id="aff1">
          <label>1</label>
          <institution>Forschungsgruppe fu ̈r Minimal-invasive Interdisziplina ̈re Therapeutische Intervention am Klinikum rechts der Isar der Technischen Universita ̈t Mu ̈nchen</institution>
        </aff>
        <aff id="aff2">
          <label>2</label>
          <institution>Institut fu ̈r Anthropomatik, Karlsruher Institut fu ̈r Technologie</institution>
        </aff>
        <aff id="aff3">
          <label>3</label>
          <institution>Lehrstuhl fu ̈r Hochfrequenztechnik, Universita ̈t Erlangen-Nu ̈rnberg</institution>
        </aff>
        <aff id="aff4">
          <label>4</label>
          <institution>Lehrstuhl fu ̈r Mustererkennung, Universita ̈t Erlangen-Nu ̈rnberg</institution>
        </aff>
        <aff id="aff5">
          <label>5</label>
          <institution>PMD Technologies GmbH</institution>
          ,
          <addr-line>Siegen</addr-line>
        </aff>
      </contrib-group>
      <fpage>184</fpage>
      <lpage>188</lpage>
      <abstract>
        <p>Kurzfassung. Eine der gro¨ßten Herausforderungen im Kontext von computergestu¨tzten Systemen fu¨r laparoskopische Eingriffe stellt die intraoperative pra¨zise und schnelle Rekonstruktion von Organoberfla¨chen dar. Diese ermo¨glicht eine Registrierung pra¨operativer Planungsdaten auf die Patientenanatomie zur Einblendung von Ziel- und Risikostrukturen in das Videobild. Vor diesem Hintergrund ero¨ffnet die Time-ofFlight (ToF)-Kameratechnik aufgrund der schnellen und dichten 3DOberfla¨chenvermessung neue Perspektiven fu¨r die laparoskopische computerassistierte Chirurgie. In diesem Beitrag stellen wir die erste invitro Evaluationsstudie zum Vergleich ToF-basierter endoskopischer mit Stereoskopie-basierter Oberfla¨chenrekonstruktion vor.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>
        Wa¨hrend der letzten Jahre erfahren computergestu¨tzte Assistenzsysteme fu¨r
laparoskopische Eingriffe zunehmend Aufmerksamkeit in Wissenschaft und
Praxis. Solche Assistenzsysteme arbeiten in der Regel mit einem pra¨operativ
erstellten Patientenmodell, welches wa¨hrend der Operation auf die aktuell
vorliegende Patientenanatomie u¨bertragen wird [
        <xref ref-type="bibr" rid="ref1">1</xref>
        ]. Eine zuverla¨ssige Registrierung
pra¨operativer Planungsdaten erfordert die Akquise intraoperativer
Lageinformationen u¨ber die Zielregion, was im laparoskopischen Kontext ha¨ufig mittels
3D-Oberfla¨chenrekonstruktion realisiert wird. Ha¨ufig angewandte Verfahren zur
3D-Oberfla¨chenrekonstruktion basieren auf ”Multiple View Methoden“
insbesondere der Stereoskopie [
        <xref ref-type="bibr" rid="ref2">2</xref>
        ] [
        <xref ref-type="bibr" rid="ref3">3</xref>
        ]. Dabei wird eine Korrespondenzanalyse auf zwei
oder mehreren Bildern aus verschiedenen Kamerapositionen durchgefu¨hrt, was
mittels einer Triangulation eine 3D-Rekonstruktion der abgebildeten Szene
erlaubt. Andere Ansa¨tze nutzen die neue Time-of-Flight (ToF)-Technik [
        <xref ref-type="bibr" rid="ref4">4</xref>
        ], bei
der die von Distanz bzw. Flugdauer abha¨ngige Phasenverschiebung eines
modulierten Lichtsignals nahe dem Infrarotsprektrum gemessen wird. Wegen der
Mo¨glichkeit, dichte Tiefendaten mit einer videoa¨hnlichen Aktualisierungsrate zu
generieren, gewinnt die ToF-Technik immer mehr an Aufmerksamkeit als
Alternative zu konventionellen Distanzmessungen. Erst ku¨rzlich wurde das erste
Endoskop, das auf der neuen Time-of-Flight (ToF)-Technik basiert, vorgestellt [
        <xref ref-type="bibr" rid="ref5">5</xref>
        ].
Das Potential im Kontext von endoskopischer Oberfla¨chenrekonstruktion muss
allerdings noch genauer untersucht werden. Wir stellen deswegen in dieser Arbeit
eine erste in-vitro Evaluationsstudie zum Vergleich von ToF-basierter
endoskopischer mit Stereoskopie-basierter Oberfla¨chenrekonstruktion vor.
2
2.1
      </p>
    </sec>
    <sec id="sec-2">
      <title>Material und Methoden</title>
      <sec id="sec-2-1">
        <title>Materialien</title>
        <p>
          ToF-Endoskop. Das ku¨rzlich vero¨ffentlichte erste Endoskop, das auf
ToF-Kamera-Technik basiert [
          <xref ref-type="bibr" rid="ref5">5</xref>
          ], fu¨r diese Studie wie folgt angepasst: Eine
kommerzielle ToF-Kamera (CamCube 2.0, PMD Technologies) mit einer Auflo¨sung von
204 × 204 wurde an eine normale starre Endoskop-Optik (Panoview, 10mm, 0◦,
R. Wolf) angebracht. Die Vera¨nderung erforderte eine Anpassung der
Beleuchtungseinheit. Dafu¨r wurde die normale LED-Beleuchtungseinheit durch eine
fasergekoppelte Laserdiode ersetzt, um das Laserlicht u¨ber den Lichtwellenleiter
in den Beleuchtungskanal des Endoskops einzukoppeln.
        </p>
        <p>Stereoskop. Ein Stereoskop (3D Endocam, No. 5535.901, R. Wolf; Stereoskop,
No. 8934.501, 10mm, 25◦, R. Wolf) mit einer Auflo¨sung von 640 × 480. Beide
Kameras wurden mit anwendungsspezifischen Methoden kalibriert.
2.2</p>
      </sec>
      <sec id="sec-2-2">
        <title>Oberfl¨achenrekonstruktion</title>
        <p>Um eine entrauschte Oberfla¨che aus dem ToF-Endoskop zu erhalten, wurde der
Median pixelweise von einer Sequenz n (default: n = 100) aufeinanderfolgender
Bilder berechnet und das zu untersuchende Organ in dem Intensita¨tsbild
segmentiert. Als na¨chstes wurde ein Bilateralfilter als kantenerhaltender Gla¨ttungsfilter
auf die Median-Bilder angewandt. Als letztes wurde der Teil des Distanzbildes,
der zuvor im Intensita¨tsbild segmentiert wurde, mit den intrinsischen
Kameraparametern ins Kartesische Koordinatensystem transformiert. Mit Hilfe einer
Delaunay-basierten Triangulationsmethode konnte daraufhin ein Dreiecksnetz
erstellt werden.</p>
        <p>
          Zur Stereo-Rekonstruktion wurde eine modifizierte Version des Hybriden
Rekursiven Matchings mit Subpixel-Genauigkeit angewandt [
          <xref ref-type="bibr" rid="ref6">6</xref>
          ]. Der
HRM-Algorithmus nutzt Informationen aus der ra¨umlichen und zeitlichen Nachbarschaft,
um rekursiv eine dichte Disparita¨tskarte zu generieren.
Um einen zuverla¨ssigen Oberfla¨chenvergleich zu ermo¨glichen, wurden mehrere
Organe (ku¨nstlich und vom Schwein) (Abb. 1 und Abb. 2 (c)) mit farbigen,
nadelfo¨rmigen Markern bestu¨ckt. Als Goldstandard dienten extrahierte
Oberfla¨chen jedes Organs aus CT-Aufnahmen. Fu¨r die in Abschnitt 2.2 eingefu¨hrten
Methoden zur Oberfla¨chenrekonstruktion wurde folgender Workflow fu¨r jedes
Organ durchgefu¨hrt:
– Bildaufnahme: Die Oberfla¨chendaten wurden aufgenommen.
– Markereliminierung: Bei beiden Rekonstruktionsmethoden wurden die
3DPositionen von mindestens vier Markern durch manuelle Lokalisation im
2D-Bild und anschließender Triangulation/3D-Koordinatenberechnung
bestimmt. Die Marker wurden daraufhin markiert und fu¨r den weiteren
Rekonstruktionsprozess ignoriert.
– Oberfla¨chenrekonstruktion: Die Rekonstruktionsmethoden wurden zur
Generierung der Oberfla¨chen auf die 2D-Bilder angewandt.
– Oberfla¨chenregistrierung: Eine punktbasierte Registrierung wurde
durchgefu¨hrt, um die aus den Goldstandard-CT-Daten extrahierten Marker auf die
korrespondierenden Markerpositionen aus der Triangulation der
Endoskopbilder abzubilden. Die resultierende rigide Transformation wurde zum
Alignment der Oberfla¨chen benutzt.
– Oberfla¨chenvergleich: Die Distanzen zwischen den Punkten der
rekonstruierten Oberfla¨che und der CT-Oberfla¨che wurden berechnet und ausgewertet.
Weiterhin wurde die Anzahl der Knoten jeder Oberfla¨che und die
Oberfla¨chengro¨ße durch Aufsummieren aller Dreiecksfla¨chen bestimmt. Somit kann
beru¨cksichtigt werden, dass eine gro¨ßere Oberfla¨che durch potentiell ho¨here
Maximalabsta¨nde zu schlechteren Statistiken fu¨hren kann.
3
        </p>
      </sec>
    </sec>
    <sec id="sec-3">
      <title>Ergebnisse</title>
      <p>Die Ergebnisse zur Evaluation der Oberfla¨chenrekonstruktion mittels
ToF-Endoskopie und Stereoskopie sind in Tabelle 1 zusammengefasst. Die u¨ber alle
(a) Gelatineleber
(b) Pelvi</p>
      <p>(c) Niere und Lunge in Pelvi
Abb. 1. Phantome und Aufbau im Laparoskopietrainer Pelvi.
Tabelle 1. Statistische Kenngro¨ßen der Distanz aller Punkte auf der jeweiligen
rekonstruierten Oberfla¨che zur korrespondierenden Goldstandard-CT-Oberfla¨che.
Mittelwert [mm] 3.9
Standardabweichung [mm] 2.5
Maximum [mm] 11.5</p>
      <p>Gelatine
ToF</p>
      <p>Stereo
Punkte gemittelte Abweichung der rekonstruierten Oberfla¨che zur
GoldstandardOberfla¨che liegt bei Stereo bei 2.3 mm ± 0,8 mm und bei ToF bei 4.0 mm ± 0.1
mm, gemittelt u¨ber die Durschnittswerte der einzelnen Organe. Die mit Stereo
rekonstruierten Oberfla¨chen besitzen im Mittel 132207 ± 30303 Knoten und eine
Gro¨ße von 4039 mm2 ± 2188 mm2, die mit ToF rekonstruierten Oberfla¨chen
hingegen im Mittel nur 9766 ± 1276 Knoten und eine Gro¨ße von 1306 mm2
± 509 mm2. Ein Beispiel zweier mit Stereo bzw. ToF rekonstruierten
LungenOberfla¨chen, die auf die dazugeho¨rige CT-Oberfla¨che registriert wurden, ist in
Abb. 2 zu sehen.
4</p>
    </sec>
    <sec id="sec-4">
      <title>Diskussion</title>
      <p>In dieser in-vitro Evaluation wurde erstmals die Oberfla¨chenrekonstruktion
mittels der neu entwickelten ToF-Endoskopie-Technik mit einer State-of-the-Art
8.8 mm
0 mm
11.7 mm
0 mm
(a) ToF
(b) Stereo
(c) Foto
Abb. 2. Oberfla¨chen der Lunge rekonstruiert mit (a) dem ToF-Endoskop und (b) dem
Stereoskop, welche mit einer rigiden Transformation anhand einer marker-basierten
Registrierung auf die korrespondierende Goldstandard-CT-Oberfla¨che abgebildet wurden.
Die Farbe der rekonstruierten Oberfla¨che gibt die Distanz zur CT-Oberfla¨che (grau)
an. (c) zeigt die urspru¨ngliche Schweinelunge im Pelvi-Trainer.</p>
      <p>Groch et al.</p>
      <p>Rekonstruktionsmethode basierend auf Stereoskopie verglichen. Die Studie
deutet darauf hin, dass die Stereo-basierte Rekonstruktion bessere Oberfla¨chen
(genauer und gro¨ßer) erzeugt, wenn auch die ToF-basierte Rekonstruktion trotz
des Prototyp-Charakters des ToF-Endoskops nur wenig schlechtere
Genauigkeit aufweist. Da es sich um eine Studie mit relativ wenigen Daten handelte
sowie manche Aspekte wie Gro¨ße der rekonstruierten Fla¨che,
Aktualisierungsrate der Rekonstruktion, etc. nur indirekt betrachtet oder ganz außer Acht
gelassen wurden, planen wir eine gro¨ßere Studie, bei der zusa¨tzlich auch andere
Methoden zur Oberfla¨chenerzeugung wie Structure-from-Motion-Ansa¨tze
miteinbezogen werden sollen. Von dieser Studie erhoffen wir uns, Ru¨ckschlu¨sse auf
die Rekonstruktionsqualita¨t im Zusammenhang von beeinflussenden
Eigenschaften wie Homogenita¨t, Farbe oder Beschaffenheit der Organoberfla¨che ziehen zu
ko¨nnen. Dieses Wissen soll dann fu¨r einen Fusionsansatz von ToF-basierter und
Multiple-View-basierter Oberfla¨chenrekonstruktion genutzt werden.</p>
      <p>Zusammenfassend la¨sst sich sagen, dass Stereoskopie im Moment die bessere
Methode zur Oberfla¨chenrekonstruktion ist. Durch die rasante Entwicklung der
jungen ToF-Technik in den letzten Jahr und ihrer Vorteile gegenu¨ber der
Stereoskopie bei der Aktualisierungsrate oder der Dichte des Tiefenbildes sehen wir
aber die ToF-Endoskopie als zukunftstra¨chtige Methode fu¨r die laparoskopische
computergestu¨tzte Chirurgie.</p>
      <p>Danksagung. Vielen Dank an Herrn Prof. Do¨rfler und die Neuroradiologische
Abteilung des Universita¨tsklinikums Erlangen fu¨r die CT-Aufnahmen und die
Unterstu¨tzung, an die Forschungsgruppe fu¨r Minimal-invasive Interdisziplina¨re
Therapeutische Intervention am Klinikum rechts der Isar der TU Mu¨nchen, sowie
an die Graduate School of Information Science in Health, TU Mu¨nchen.</p>
    </sec>
    <sec id="sec-5">
      <title>Literaturverzeichnis</title>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1.
          <string-name>
            <surname>Baumhauer</surname>
            <given-names>M</given-names>
          </string-name>
          , et al.
          <article-title>Navigation in endoscopic soft tissue surgery: perspectives and limitations</article-title>
          .
          <source>J Endourol</source>
          .
          <year>2008</year>
          ;
          <volume>22</volume>
          (
          <issue>4</issue>
          ):
          <fpage>751</fpage>
          -
          <lpage>66</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          2.
          <string-name>
            <surname>Stoyanov</surname>
            <given-names>D</given-names>
          </string-name>
          , et al.
          <article-title>Real-time stereo reconstruction in robotically assisted minimally invasive surgery</article-title>
          . Lect Notes Computer Sci.
          <year>2010</year>
          ; p.
          <fpage>275</fpage>
          -
          <lpage>282</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          3.
          <string-name>
            <surname>Wengert</surname>
            <given-names>C</given-names>
          </string-name>
          , et al.
          <article-title>Markerless endoscopic registration and referencing</article-title>
          . Lect Notes Computer Sci.
          <year>2006</year>
          ; p.
          <fpage>816</fpage>
          -
          <lpage>23</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          4.
          <string-name>
            <surname>Kolb</surname>
            <given-names>A</given-names>
          </string-name>
          , et al.
          <article-title>Time-of-flight sensors in computer graphics</article-title>
          .
          <source>Eurographics State Art Rep</source>
          .
          <year>2009</year>
          ; p.
          <fpage>119</fpage>
          -
          <lpage>34</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          5.
          <string-name>
            <surname>Penne</surname>
            <given-names>J</given-names>
          </string-name>
          , et al.
          <article-title>Time-of-flight 3-D endoscopy</article-title>
          . Lect Notes Computer Sci.
          <year>2009</year>
          ; p.
          <fpage>467</fpage>
          -
          <lpage>74</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          6. Ro¨hl S, et al.
          <article-title>Real-time surface reconstruction from stereo endoscopic images for intraoperative registration</article-title>
          .
          <source>In: Proc SPIE; 2011</source>
          . p. to appear.
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>