=Paper=
{{Paper
|id=Vol-1477/paper51
|storemode=property
|title=Kontinuierliche Erweiterung des endoskopischen Sichtfeldes
|pdfUrl=https://ceur-ws.org/Vol-1477/Proceedings_CURAC_2013_Paper_51.pdf
|volume=Vol-1477
|dblpUrl=https://dblp.org/rec/conf/curac/BihlmaierW13
}}
==Kontinuierliche Erweiterung des endoskopischen Sichtfeldes==
https://ceur-ws.org/Vol-1477/Proceedings_CURAC_2013_Paper_51.pdf
Kontinuierliche Erweiterung des endoskopischen Sichtfeldes
A. Bihlmaier¹, H. Wörn¹
¹ Karlsruher Institut für Technologie (KIT),
Institut für Prozessrechentechnik, Automation und Robotik (IPR),
Karlsruhe, Deutschland
Kontakt: andreas.bihlmaier@kit.edu
Abstract:
Die steigende Verfügbarkeit von HD-Endoskopen und die dadurch deutlich verbesserte Bildqualität lindert einen we-
sentlichen Nachteil minimial-invasiver Eingriffe. Weiterhin bestehen bleibt jedoch das eingeschränkte Sichtfeld wäh-
rend der Operation, welches häufige Neupositionierungen erfordert und die Hand-Auge-Koordination erschwert. Die
hier vorgeschlagene Verbesserung dieser nachteiligen Situation besteht in einer kontinuierlichen Erweiterung des Sicht-
feldes durch Image Stitching in Echtzeit. Die Voraussetzungen für den Einsatz ergeben sich aus dem Kontext der Arbeit,
welche die Entwicklung einer mit Robotern durchgeführten automatisierten Endoskopführung ist. Das Ergebnisbild des
vorgestellten Verfahrens zeigt sich in einem Versuchsaufbau als horizontstabil, es weist wenige Artefakte auf und bietet
zur Orientierung hilfreichen visuellen Kontext, der Livebildausschnitt wird unverändert wiedergegeben.
Schlüsselworte: Endoskop, Sichtfelderweiterung, Robotik
1 Problemstellung
Die Bildqualität durch den Einsatz von HD-Endoskopen in der minimal-invasiven Chirurgie (MIC) ist stark gestiegen,
hingegen ist die Größe des Sichtfeldes weiterhin zu klein um den relevanten Operationskontext zu erfassen. Dieses ein-
geschränkte Sichtfeld zwingt zur häufigen Neupositionierung des Endoskops und führt in Zusammenspiel mit der ver-
größerten Abbildung der engen räumlichen Verhältnisse im Patienteninneren zu einem unruhigen Bildeindruck. Ein der-
artig unruhiges Bild ist nicht lediglich unangenehm für den Chirurgen und nachteilig für seine Orientierung, sondern
erschwert zudem die Hand-Auge-Koordination durch die sich permanent verändernden relativen Transformationen zwi-
schen Bild- und Handkoordinatensystem.
Abbildung 1: Zwei endoskopische Aufnahmen aus einem Übungsphantoms, welche die Einschränkung des sichtba-
ren Kontextes und die schwierige Wahrnehmung räumlicher Verhältnisse gegenüber eines kontinuierlich erweiterten
Sichtfeldes in Abb. 4 illustrieren.
216
2 Material und Methoden
2.1 Gesamtsystem
Die kontinuierliche Erweiterung des endoskopischen Sichtfeldes, ist als Komponente für eine wissensbasierte
Endoskopführung entworfen [1] und nutzt die dort bereits vorhandene Aktorik zur weitergehenden Kompensation von
Nachteilen in der MIC. Das Gesamtsystem (siehe Abb. 2) weist sowohl kognitive wie auch autonome Aspekte auf. Der
kognitive Teil des Systems gibt anhand der aktuellen OP-Situation und -Phase sowie Bildinformationen, den Bereich
vor, welcher im Endoskop sichtbar sein soll. Die zum gewünschten Sichtkegel gehörige Kameraposition wird dann au-
tonom vom endoskopführenden Roboter angefahren.
An dieser Stelle setzt die aktuelle Arbeit ein. Anstatt den Roboter unbewegt an der Zielposition verharren zu lassen,
wird er genutzt um das Sichtfeld kontinuierlich zu erweitern, womit weiterer Nutzen aus der robotischen
Endoskopführung gezogen werden kann. Eine Implementierung des im Folgenden beschriebenen Verfahrens wurde in
einem Versurchsaufbau mit der OP:Sense Plattform erprobt [2]. Die genutzten Komponenten beschränken sich auf ei-
nen das Endoskop führenden KUKA LWR4 Roboter, eine netzwerkfähige Endoskopkamera sowie die ROS Middleware
zur Vernetzung dieser Subsysteme.
Abbildung 2: Schema eines kognitiven chirurgischen Robotik-
systems, welches den Rahmen der vorliegenden Arbeit bildet [1].
2.2 Image Stitching Algorithmus
Die endoskopische Sichtfelderweiterung für MIC in Echtzeit wurde in [3] demonstriert, jedoch verfolgt die vorliegende
Arbeit aus mehreren Gründen einen davon abweichenden Weg. Erstens geht [3] von einem handgeführten Endoskop
aus, zweitens wird dort eine das Livebild verändernde 3D Rekonstruktion durchgeführt und zuletzt wird nicht auf die
Situation einer kontinuierlichen Sichtfelderweiterung eingegangen.
Dieser Arbeit liegt konzeptionell der Image Stitching Algorithmus aus [4] zugrunde, aber es werden keine perspektivi-
schen Transformationen durchgeführt, stattdessen garantiert bereits die robotische Bildgewinnung im optischen Zent-
rum der Endoskopkamera ein perspektivisch konsistentes Ergebnis. Somit kann sichergestellt werden, dass keine even-
tuell medizinisch relevante Veränderung der Endoskopbilder geschieht.
Die Bildverarbeitungskette wird für jedes Bild wie folgt durchlaufen. Das aktuelle Endoskopbild wird mit einer mor-
phologisch nachbearbeiteten Schwellwertmaske auf den eigentlichen Bildinhalt zugeschnitten. Aus diesem werden an-
schließend ORB Merkmale extrahiert, welche durch einen Matching Algorithmus mit den Merkmalen des vorhergehen-
den Bildes abgeglichen werden. Nach auf Quantilen basierender Ausreißereliminierung erfolgt eine Mittelwertbildung
über die Distanz zusammengehöriger Merkmale, um daraus die korrekte Ausrichtung des neuen Bildes in das bestehen-
de Ergebnisbild zu berechnen. Bevor das neue Bild schließlich an passender Stelle überlagert wird, wird das gesamte
Ergebnisbild einem Tiefpassfilter sowie einer Kontrastverringerung ausgesetzt. In dieser Bildverarbeitungskette werden
alle über den Bildraum parallelisierbaren Schritte auf CPU oder GPU parallelisiert durchgeführt.
2.3 Visuelle Gestaltung
Unabhängig von der technischen Realisierung der Sichtfelderweiterung stellt sich die Frage, wie das Ergebnis dem Chi-
rurgen zu präsentieren ist. Hierbei müssen verschiedene, teilweise entgegengesetzte, Kriterien berücksichtigt werden.
Das Livebild soll trotz der kontinuierlichen Kamerabewegung einen möglichst unbewegten Eindruck machen. Die kon-
stante Monitorfläche muss zwischen dem Kontext- und Livebild sinnvoll aufgeteilt werden. Unvermeidliche Artefakte
am Übergang zwischen altem Kontextbild und aktuellem Livebild müssen visuell gering gehalten werden. Zudem ist es
unerlässlich, dass der Chirurg visuell jederzeit und intuitiv zwischen dem in der Vergangenheit aufgenommenen erwei-
terten Kontextbild und dem Livebild unterscheiden kann.
217
Die vorgeschlagene Lösung ist in Abb. 3 schematisch illustriert und kann auf einem Videostandbild in Abb. 4 in konkre-
ter Umsetzung betrachtet werden. Die Endoskopkamera wird vom Roboter kontinuierlich auf einer geschlossenen Bahn
um ihr optisches Zentrum bewegt, wobei der eigentliche Ort des Interesses, welchen der Chirurg foveal wahrnimmt,
z.B. ein Gebiet um das aktive Instrument, sich zu jedem Zeitpunkt im Sichtfeld der Kamera befindet. Im Ergebnisbild
steht das Bildzentrum still an einem Ort. Alle aktuell nicht sichtbaren Bildteile werden über die Zeit hinweg stetig un-
schärfer und dunkler, bis sie im Zyklus der Kamerabewegung wieder sichtbar und somit aufgefrischt werden.
Abbildung 3: Kontinuierliche Bewegung des Endoskops und
Illustration der visuellen Darstellung.
3 Ergebnisse
Erste Ergebnisse mit einem Übungsphantom sind vielversprechend (Abb. 4) bezüglich erhoffter Erweiterung (vgl. Abb.
1) des Sichtfeldes, Konsistenz des zusammengefügten Ergebnisbildes und Intuitivität des visuellen Eindrucks.
Abbildung 4: Ausschnitt aus dem in Echtzeit kontinuierlich erweiterten Videobild. Das unverän-
derte Livebild hebt sich farblich und in der Bildschärfe vom aktuell außerhalb des Sichfeldes lie-
genden Bereichen ab, welche den visuellen Kontext für das Livebild (vgl. Abb. 1) bieten.
Die gesamte Bildverarbeitungskette benötigt bei Full-HD Eingabebildern und einem vierfach höher aufgelösten Ausga-
bebild 25 ms pro Eingabebild, womit die 30 Bilder pro Sekunde der Endoskopkamera verzögerungsfrei wiedergegeben
218
werden können. Das Ausgabebild wird – bis zur Verbreitung von 4K Monitoren – vor der Anzeige auf Full-HD
herunterskaliert.
4 Diskussion
Einer weiteren Evaluierung bedarf besonders der subjektive Bildeindruck für den Chirurgen. Positiv gegenüber einem
handgeführten Endoskop fällt das - trotz kontinuierlicher Bewegung - verwacklungsfreie Bild mit stabilem Horizont
auf. Ebenfalls verbessert sich die wahrgenommene Orientierung im Situs durch die erhöhte Sichtbarkeit der Livebild-
umgebung. Es bleibt zu ermitteln ob die langsame perspektivische Veränderung und Übergangsartefakte zwischen Um-
gebung und Livebild für den Chirurgen störend wirken oder dies durch die oben ausgeführte visuelle Gestaltung bereits
zufriedenstellend gelöst ist. Weiterhin muss noch erforscht werden, wie die Verschiebung des Bildzentrums gut visuell
umgesetzt werden kann, sowohl im Falle einer geplanten Verschiebung durch das wissensbasierte System als auch für
den Fall einer Nutzerinteraktion (vgl. Abb. 2). Zuletzt ist noch ein Modell für die situationsadaptive Abwägung zwi-
schen Geschwindigkeit der Roboterbewegung, relative Größe der Sichtfelderweiterung und Artefakten aufzustellen.
Gegenüber bestehenden Ansätzen besteht der Vorteil in einer kontinuierlichen Erweiterung des Sichtfeldes, welche kei-
ne Artefakte im Livebild des Endoskops erzeugt und dennoch die Orientierung sowie Hand-Auge-Koordination durch
einen feststehenden Horizont und erweiterten Bildkontext verbessert.
5 Zusammenfassung
Der in der vorliegenden Arbeit entworfene Algorithmus mit zugehöriger Visualisierung zum Zweck einer kontinuierli-
chen Erweiterung des endoskopischen Sichtfeldes – durch kontinuierliche Bewegung der Kamera am Roboter bei für
den Chirurgen stabil gehaltenem Bild – wurde implementiert und in einem Versuchsaufbau getestet. Erste Ergebnisse
sprechen dafür diesen Ansatz im größeren Rahmen einer wissensbasierten automatisierten Endoskopführung weiterzu-
verfolgen.
6 Danksagungen
Diese Arbeit wurde im Rahmen des von der Deutschen Forschungsgemeinschaft (DFG) geförderten SFB/TRR 125
„Cognition-Guided Surgery“ (Projekt I05) erstellt.
7 Referenzen
[1] O. Weede, A. Bihlmaier, J. Hutzl, B.P. Müller-Stich, H. Wörn, Towards Cognitive Medical Robotics in Min-
imal Invasive Surgery, Advances in Robotics - International Conference of Robotics Society of India (AIR'13),
Pune, India, 4.6. Juli (2013)
[2] P. Nicolai, T. Brennecke, M. Kunze, L. Schreiter, T. Beyl, Y. Zhang, J. Mintenbeck, J. Raczkowsky, H. Wörn,
The OP:Sense surgical robotics platform: first feasibility studies and current research, International Journal of
Computer Assisted Radiology and Surgery, 8(1),136-137 (2013)
[3] P. Mountney, G-Z. Yang, Dynamic view expansion for minimally invasive surgery using simultaneous localiza-
tion and mapping, 31st Annual International Conference of the IEEE EMBS, Minneapolis, Minnesota,
USA, 2.-6. September (2009)
[4] M. Brown, D. Lowe, Automatic Panoramic Image Stitching using Invariant Features, International Journal of
Computer Vision, 74(1), 59-73 (2007)
219