Die steigende Verfügbarkeit von HD-Endoskopen und die dadurch deutlich verbesserte Bildqualität lindert einen wesentlichen Nachteil minimial-invasiver Eingriffe. Weiterhin bestehen bleibt jedoch das eingeschränkte Sichtfeld während der Operation, welches häufige Neupositionierungen erfordert und die Hand-Auge-Koordination erschwert. Die hier vorgeschlagene Verbesserung dieser nachteiligen Situation besteht in einer kontinuierlichen Erweiterung des Sichtfeldes durch Image Stitching in Echtzeit. Die Voraussetzungen für den Einsatz ergeben sich aus dem Kontext der Arbeit, welche die Entwicklung einer mit Robotern durchgeführten automatisierten Endoskopführung ist. Das Ergebnisbild des vorgestellten Verfahrens zeigt sich in einem Versuchsaufbau als horizontstabil, es weist wenige Artefakte auf und bietet zur Orientierung hilfreichen visuellen Kontext, der Livebildausschnitt wird unverändert wiedergegeben.
Abbildung 1: Zwei endoskopische Aufnahmen aus einem Übungsphantoms, welche die Einschränkung des sichtbaren Kontextes und die schwierige Wahrnehmung räumlicher Verhältnisse gegenüber eines kontinuierlich erweiterten Sichtfeldes in Abb. 4 illustrieren.
Die endoskopische Sichtfelderweiterung für MIC in Echtzeit wurde in [3] demonstriert, jedoch verfolgt die vorliegende Arbeit aus mehreren Gründen einen davon abweichenden Weg. Erstens geht [3] von einem handgeführten Endoskop aus, zweitens wird dort eine das Livebild verändernde 3D Rekonstruktion durchgeführt und zuletzt wird nicht auf die Situation einer kontinuierlichen Sichtfelderweiterung eingegangen.
Dieser Arbeit liegt konzeptionell der Image Stitching Algorithmus aus [4] zugrunde, aber es werden keine perspektivischen Transformationen durchgeführt, stattdessen garantiert bereits die robotische Bildgewinnung im optischen Zentrum der Endoskopkamera ein perspektivisch konsistentes Ergebnis. Somit kann sichergestellt werden, dass keine eventuell medizinisch relevante Veränderung der Endoskopbilder geschieht.
Die Bildverarbeitungskette wird für jedes Bild wie folgt durchlaufen. Das aktuelle Endoskopbild wird mit einer morphologisch nachbearbeiteten Schwellwertmaske auf den eigentlichen Bildinhalt zugeschnitten. Aus diesem werden anschließend ORB Merkmale extrahiert, welche durch einen Matching Algorithmus mit den Merkmalen des vorhergehenden Bildes abgeglichen werden. Nach auf Quantilen basierender Ausreißereliminierung erfolgt eine Mittelwertbildung über die Distanz zusammengehöriger Merkmale, um daraus die korrekte Ausrichtung des neuen Bildes in das bestehende Ergebnisbild zu berechnen. Bevor das neue Bild schließlich an passender Stelle überlagert wird, wird das gesamte Ergebnisbild einem Tiefpassfilter sowie einer Kontrastverringerung ausgesetzt. In dieser Bildverarbeitungskette werden alle über den Bildraum parallelisierbaren Schritte auf CPU oder GPU parallelisiert durchgeführt.
Unabhängig von der technischen Realisierung der Sichtfelderweiterung stellt sich die Frage, wie das Ergebnis dem Chirurgen zu präsentieren ist. Hierbei müssen verschiedene, teilweise entgegengesetzte, Kriterien berücksichtigt werden. Das Livebild soll trotz der kontinuierlichen Kamerabewegung einen möglichst unbewegten Eindruck machen. Die konstante Monitorfläche muss zwischen dem Kontext- und Livebild sinnvoll aufgeteilt werden. Unvermeidliche Artefakte am Übergang zwischen altem Kontextbild und aktuellem Livebild müssen visuell gering gehalten werden. Zudem ist es unerlässlich, dass der Chirurg visuell jederzeit und intuitiv zwischen dem in der Vergangenheit aufgenommenen erweiterten Kontextbild und dem Livebild unterscheiden kann. Die vorgeschlagene Lösung ist in Abb. 3 schematisch illustriert und kann auf einem Videostandbild in Abb. 4 in konkreter Umsetzung betrachtet werden. Die Endoskopkamera wird vom Roboter kontinuierlich auf einer geschlossenen Bahn um ihr optisches Zentrum bewegt, wobei der eigentliche Ort des Interesses, welchen der Chirurg foveal wahrnimmt, z.B. ein Gebiet um das aktive Instrument, sich zu jedem Zeitpunkt im Sichtfeld der Kamera befindet. Im Ergebnisbild steht das Bildzentrum still an einem Ort. Alle aktuell nicht sichtbaren Bildteile werden über die Zeit hinweg stetig unschärfer und dunkler, bis sie im Zyklus der Kamerabewegung wieder sichtbar und somit aufgefrischt werden.
3
Erste Ergebnisse mit einem Übungsphantom sind vielversprechend (Abb. 4) bezüglich erhoffter Erweiterung (vgl. Abb. 1) des Sichtfeldes, Konsistenz des zusammengefügten Ergebnisbildes und Intuitivität des visuellen Eindrucks.
Abbildung 4: Ausschnitt aus dem in Echtzeit kontinuierlich erweiterten Videobild. Das unveränderte Livebild hebt sich farblich und in der Bildschärfe vom aktuell außerhalb des Sichfeldes liegenden Bereichen ab, welche den visuellen Kontext für das Livebild (vgl. Abb. 1) bieten.
Die gesamte Bildverarbeitungskette benötigt bei Full-HD Eingabebildern und einem vierfach höher aufgelösten Ausgabebild 25 ms pro Eingabebild, womit die 30 Bilder pro Sekunde der Endoskopkamera verzögerungsfrei wiedergegeben werden können. Das Ausgabebild wird – bis zur Verbreitung von 4K Monitoren – vor der Anzeige auf Full-HD herunterskaliert.
Einer weiteren Evaluierung bedarf besonders der subjektive Bildeindruck für den Chirurgen. Positiv gegenüber einem handgeführten Endoskop fällt das - trotz kontinuierlicher Bewegung - verwacklungsfreie Bild mit stabilem Horizont auf. Ebenfalls verbessert sich die wahrgenommene Orientierung im Situs durch die erhöhte Sichtbarkeit der Livebildumgebung. Es bleibt zu ermitteln ob die langsame perspektivische Veränderung und Übergangsartefakte zwischen Umgebung und Livebild für den Chirurgen störend wirken oder dies durch die oben ausgeführte visuelle Gestaltung bereits zufriedenstellend gelöst ist. Weiterhin muss noch erforscht werden, wie die Verschiebung des Bildzentrums gut visuell umgesetzt werden kann, sowohl im Falle einer geplanten Verschiebung durch das wissensbasierte System als auch für den Fall einer Nutzerinteraktion (vgl. Abb. 2). Zuletzt ist noch ein Modell für die situationsadaptive Abwägung zwischen Geschwindigkeit der Roboterbewegung, relative Größe der Sichtfelderweiterung und Artefakten aufzustellen. Gegenüber bestehenden Ansätzen besteht der Vorteil in einer kontinuierlichen Erweiterung des Sichtfeldes, welche keine Artefakte im Livebild des Endoskops erzeugt und dennoch die Orientierung sowie Hand-Auge-Koordination durch einen feststehenden Horizont und erweiterten Bildkontext verbessert. 5
Der in der vorliegenden Arbeit entworfene Algorithmus mit zugehöriger Visualisierung zum Zweck einer kontinuierlichen Erweiterung des endoskopischen Sichtfeldes – durch kontinuierliche Bewegung der Kamera am Roboter bei für den Chirurgen stabil gehaltenem Bild – wurde implementiert und in einem Versuchsaufbau getestet. Erste Ergebnisse sprechen dafür diesen Ansatz im größeren Rahmen einer wissensbasierten automatisierten Endoskopführung weiterzuverfolgen.
Diese Arbeit wurde im Rahmen des von der Deutschen Forschungsgemeinschaft (DFG) geförderten SFB/TRR 125 „Cognition-Guided Surgery“ (Projekt I05) erstellt.