Intuitive Visualisierung von Zielregionen in der minimal invasiven Chirurgie mittels projektorbasierter Erweiterter Realität O. Weede¹, T. Stark¹, B. Müller², H. Wörn¹ ¹ Karlsruher Institut für Technologie (KIT), Institut für Prozessrechentechnik, Automatisation und Robotik, Karlsruhe, Deutschland ² Universitätsklinikum Heidelberg, Klinik für Allgemein-, Viszeral- und Transplantationschirurgie, Heidelberg, Deutschland Kontakt: oliver.weede@kit.edu Abstract: Intuitive verständliche Navigationshilfen für Operateure in der minimal invasiven Chirurgie werden durch das vorgestellte Erweiterte Realitäts - System direkt auf den Körper des Patienten projiziert. Das System be- rechnet Pfade einer Intervention anhand aufgezeichneter Trajektorien und erstellt daraus einen Navigati- onspfad, der aus einer Abfolge von Zielregionen besteht. Der Operateur kann diesen Pfad für eine präopera- tive Planung nutzen und modifizieren. Zu Beginn der Operation werden optimierte Trokarpositionen auf den Körper des Patienten projiziert. Intraoperativ werden dann Zielregionen ausgehend von der Instrumenten- spitze des chirurgischen Instruments visualisiert um die Navigation zu erleichtern. Durch Selektion der endo- skopischen Kamera als Zielregion, kann zudem die Navigation der Instrumentenspitzen in das Sichtfeld der Kamera erleichtert werden. Die vorgestellten Navigationshilfen sind intuitiv verständlich und ermöglichen einen Zielfindungsprozess mit einer durchschnittlichen Genauigkeit von 2.6mm. Durch zusätzliche Projektion von Bildgebungsdaten kann die Indirektion aufgehoben werden, welche durch die Blickrichtung des Opera- teurs auf das Endoskopbild entsteht. Schlüsselworte: Navigation, Virtual Fixtures, Erweiterte Realität, minimal invasive Chirurgie 1 Einleitung - Problemstellung und Stand der Forschung Die Sicht auf den Situs erfolgt in der minimal invasiven Chirurgie ausschließlich über ein Endoskop, welches nur einen kleinen Sichtbereich bietet. Außerdem unterscheidet sich die Blickrichtung von der des Opera- teurs, was die Navigation zu bestimmten Zielen erschwert. Ein Erweitertes Realitäts - System wird einge- setzt, um dem Operateur Hilfestellungen zu bieten. Bei standardisierten Interventionen sind die Schritte ei- ner erfolgreichen Operation ähnlich und in gewissem Rahmen vorhersagbar. Dies wird genutzt, um aus ge- sammelten Operationsdaten Navigationspfade zu berechnen, welche aus einer Abfolge von Zielregionen bestehen. Der Operateur kann hierbei die Anzahl der Zielregionen vorgeben. Das System liefert automa- Proceedings curac2010@MEDICA 119 tisch einen Vorschlag für einen präoperativen Plan, welcher vom Operateur weiter modifiziert und verfei- nert werden kann. Die vorgestellten Navigationshilfen werden intraoperativ direkt auf den Körper des Pati- enten projiziert und unterstützen den Zielfindungsprozess der jeweils nächsten Zielregion. Ist diese er- reicht, kann der Operateur die nächste Zielregion wählen. Die automatische Berechnung von Pfaden wurde bereits in einigen Forschungsarbeiten untersucht, um dem Operateur aus gelernten Trajektorien eines Experten Hilfestellungen bezüglich einer auszuführenden Aufgabe zu gegeben [1-3]. Solche Hilfestellungen werden als Virtual Fixtures bezeichnet. Dieses Konzept wurde von Rosenberg eingeführt und bezeichnet das Überlagern von sensorischen Informationen (z.B. hap- tisch, visuell) in den Arbeitsbereich, um die Performanz beim Ausführen einer Aufgabe zu erhöhen [4]. In [1] wird der Benutzer durch automatisch generierte Virtual Fixtures so durch den Arbeitsbereich geführt, dass seine Bewegungen idealerweise denen eines Experten gleichen. Das Auffinden der korrespondieren- den Stelle in der Trajektorie des Benutzers bezüglich der Trajektorie des Experten geschieht hier durch die Bestimmung der minimalen Euklidischen Distanz innerhalb eines Zeitfensters in der Expertentrajektorie. Das Zeitfenster bewegt sich in konstanter Zeit innerhalb der ablaufenden Intervention. Dies macht die An- wendung für längere Operationen kaum möglich, da Interventionen hinsichtlich des zeitlichen Ablaufs stark variieren. Eine Navigationshilfe, die einem Operateur vollautomatisch einen Pfad vorgibt und die aktuelle Position in- nerhalb des Pfades auch während einer längeren Operation findet, um den Operateur stetig und robust bis ans Ziel seiner Operation zu leiten, ist nicht bekannt. Wir sind der Überzeugung, dass der Operateur bislang manuell den Übergang von einer Zielregion zur nächsten bestimmen sollte, um Sicherheit im Zielfindungs- prozess zu gewährleisten. Um eine intuitive Visualisierung der nächsten Zielregion zu bieten, erfolgt die Visualisierung der Navigati- onshilfen einerseits über eine dreidimensionale Ansicht am Bildschirm und andererseits über das von Hop- pe et. al [5] entwickelte Erweiterte Realitäts-System Probaris direkt durch Projektion von Navigationssym- bolen auf den Körper des Patienten. Probaris besteht aus handelsüblichen Kameras und Projektoren. Zur Erfassung eines dreidimensionalen Oberflächenmodells des Patienten wird dieser vor der Operation mittels modulierter Streifenlichtprojektion gescannt (siehe Abb. 1, rechts) und ein dreidimensionales Oberflä- chenmodell generiert. Das System in der Lage die Position eines Trackingkörpers in Echtzeit zu bestimmen und damit sich verändernde Positionen des Patienten zu berücksichtigen. Durch einen modifizierten ICP- Algorithmus wird das Oberflächenmodell mit präoperativen Bilddaten (wie CT oder MRT) zur Deckung ge- bracht. Probaris wurde bereits klinisch eingesetzt und präzise kalibriert [6]. Durch die Projektion ist der Ein- satz bisher nur bei manuellen minimal invasiven Eingriffen möglich, in denen eine freie Sicht vom Projektor- System auf den Körper des Patienten gegeben ist. Mit dem Probarissystem wurden zudem bereits Trokarpositionen auf das Abdomen projiziert [7]. 120 Proceedings curac2010@MEDICA Abb. 1: Links: Das projektorbasierte Erweiterte Realitäts – System Probaris. Rechts: Projektion von moduliertem Streifenlicht zur Erfassung des Oberflächenmodells Es gibt bereits Ansätze, die eine Visualisierung des Zielfindungsprozesses untersuchen und realisieren. Bei- spielsweise ist der Zielführungsprozess des Probaris-Systems patentiert [8]. In [9] wird eine in-vitro Evalua- tion verschiedener Visualisierungsansätze für computerassistierte Navigation in Weichgewebe untersucht. Die Visualisierung erfolgte hier ohne Methoden der Erweiterten Realität. Für die Visualisierung der Rich- tung und Tiefe von Zielpunkten wurde eine Projektion auf verschiedene Projektionsebenen untersucht. Pfeile zeigen bei einer Biopsie in die Richtung, in welche die Nadel zu bewegen ist, wobei die Tiefe der In- strumentenspitze durch eine Pegelanzeige visualisiert wird. 2 Methode Die Navigationshilfen bestehen zum einen aus einem Symbol, das auf den Körper projiziert wird und intuitiv anzeigt, in welche Richtung der Operateur das Instrument bewegen muss, um eine Zielposition zu errei- chen. Zum anderen wird ein Navigationspfad als Navigationshilfe berechnet und visualisiert. Es handelt sich um eine zusammenhängende Abfolge von Zielregionen, verbunden durch Zylindersegmente, welche die aufgezeichneten Trajektorien eines erfahrenen Operateurs umschließt. In Abbildung 2 ist eine Trajektorie und der berechnete Navigationspfad zu sehen. Über die Radien der einzelnen Zylindersegmente werden Abweichungen der Trajektorie als Konfidenzintervall berücksichtigt. Zusätzlich zu diesem Navigationspfad wird die aktuelle Position der Instrumentenspitzen auf einem Bildschirm visualisiert. Wird das Konfidenzintervall des Pfades verlassen, wird die Farbe des Navigationssymbols verfärbt, um den Operateur vor einer möglichen Gefahr zu warnen. 2.1 Berechnung des Navigationspfades Für die Berechnung des Navigationspfades werden Trajektorien mit einer festen Frequenz abgetastet und aufgezeichnet. Um eine für die Intervention typische Abfolge von Zielregionen zu berechnen, wird für jede Trajektorie der Instrumente separat ein Clustering durch den Complete Linkage Algorithmus durchgeführt, einer agglomerativen hierarchischen Clustertechnik, die iterativ die Anzahl der Cluster verringert, indem jeweils zwei Cluster mit minimaler Distanz vereint werden. Dazu werden die Distanzen der am weitesten entfernten Elemente der Cluster verwendet, wodurch sich kompakte Cluster ergeben. Diese iterative Prozedur wird beendet sobald n Cluster erzeugt wurden. Die Anzahl der Zielregionen n kann frei gewählt werden. Als Metrik wird die dreidimensionale Euklidische Distanz verwendet. Zusätzlich wird die Bedingung eingeführt, dass in jedem Schritt nur Punkte vereinigt werden, welche zeitlich direkt aufeinander folgen. Nach dem Clustering wird jeder Cluster durch seinen räumlichen sowie seinen zeitlichen Schwerpunkt repräsentiert. Die n Cluster weden nach aufsteigender Zeit sortiert, wodurch sich eine Durchlaufreihenfolge der Zielregionen ergibt. Um jeden Clusterschwerpunkt wird eine Kugel gelegt, deren Radius proportional zur räumlichen Varianz der Elemente um den Clusterschwerpunkt ist. Durch Verschieben der Kugel zum jeweils zeitlich folgenden Clusterschwerpunkt, ergibt sich eine Abfolge von aneinanderhängenden Swept- Sphere Objekten. Dies ermöglicht effiziente Punktanfrage, um festzustellen, ob sich die Instrumentenspitze im Pfad befindet. Die berechnete Abfolge von Zielregionen, sowie die Radien der einzelnen Segmente können vom Operateur modifziert werden, um die Intervention am Patienten zu planen. Proceedings curac2010@MEDICA 121 Abb. 2: Trajektorie, Abfolge von Clusterschwerpunkten und Navigationspfad aus Swept-Sphere Objekten. Um den Patienten zum Projektorsystem zu registrieren, wird die Körperoberfläche des Patienten mit dem Pobarissystem gescannt und das entstandene Oberflächenmodell mit den präoperativen Daten in Deckung gebracht. Während der Intervention wird dann das chirurgische Instrument fortlaufend optisch getrackt. Über die Transformation, welche aus der Registrierung gewonnen wurde und den geometrischen Eigen- schaften des Instruments, wird die Instrumentenspitze fortlaufend im Planungskoordinatensystem lokali- siert und es ist möglich die abgetasteten Trajektorien aufzuzeichnen. 2.2 Das Navigationssymbol Die Richtung zum Zielpunkt wird durch ein Kreuz symbolisiert, welches sich in Draufsicht direkt über dem Zielpunkt befindet. Zudem wird eine Linie vom Eintrittspunkt der Instrumente in den Körper (Trokarposition) zu diesem Kreuz eingezeichnet. Die Linie zeigt also die Richtung an, in der sich das Ziel be- findet. Die Tiefe wird durch einen Kreis um das Richtungssymbol angezeigt. Der Radius des Kreises visuali- siert die Tiefendifferenz zwischen der Ist-Position und der Soll-Position der Instrumentenspitze. Ist das In- strument zu tief, verfärbt sich der Kreis rot. x w Abb. 3: Gescanntes Oberflächenmodell, Trokarposition A, Instrumentenspitze B, Zielpunkt C. In Abbildung 3 bezeichnet Punkt A den Eintrittspunkt der Instrumente in den Körper (Trokarposition). Der Vektor v=C-B von der Instrumentenspitze B zum Zielpunkt C bestimmt die visualisierte Richtung, w=C-A gibt die Richtung vom Eintrittspunkt zum Zielpunkt an und x=B-A die Richtung vom Eintrittspunkt zur In- strumentenspitze. Der Radius des Tiefenkreises ist proportional zu δ=|w|-|x|, der Länge der Strecke, um die das Instrument in den Körper eingeführt oder herausgezogen werden muss, um dieselbe Tiefe im Kör- per zu erreichen, die auch der Zielpunkt vom Eintrittspunkt hat. Beim Annähern an das Ziel bewegt sich das Navigationskreuz somit auf den Eintrittspunkt zu, bis die Instrumentenspitze das Ziel erreicht hat. Ist der Tiefenkreis zu sehen, muss das Instrument tiefer in den Körper eingeführt werden. Dabei wird der Kreisra- dius kleiner, bis er schließlich auf der Höhe des Zielpunktes zu einem Punkt wird. Ist das Symbol rot, ist das Instrument zu tief eingedrungen. 122 Proceedings curac2010@MEDICA 3 Ergebnisse und Diskussion Das Navigationssymbol ist intuitiv interpretierbar. In Abbildung 4 sind Beispiele für den Zielfindungsprozess abgebildet. In einem Experiment, das durch zwei Probanden mit jeweils fünf Versuchen durchgeführt wur- de, ist der Zielfindungsprozess unter endoskopischer Sicht gemessen worden. Es ergab sich eine durch- schnittliche Zeit von 4.8 Sekunden, um das Ziel zu erreichen. Unter Zuhilfenahme der Visualisierung erfolgte der Zielfindungsprozess in 1.9 Sekunden. Abb. 4: Projizierte Navigationssymbole. Links: Instrument zu tief. Mitte: Nahe am Zielpunkt, nicht tief ge- nug. Rechts: Tiefe fast erreicht, große Entfernung zum Zielpunkt. Die Zielposition ist jeweils durch ein grü- nes Kreuz visualisiert. Die Genauigkeit des gesamten Projektorsystems (Einscannen, Registrierung und Projektion) beträgt durch- schnittlich 2.6 mm, wobei der Fehler zum Rand des Abdomens zunimmt und im Bereich um den Bauchnabel eine Genauigkeit von einem Millimeter erreicht [10]. Der Vorteil der direkten Visualisierung auf dem Abdomen kann vom Operateur genutzt werden, wenn die Endeffektoren der Instrumente nicht im Endoskopbild sichtbar sind. In einer typischen chirurgischen Situa- tion wird zuerst das Endoskop in den Körper geführt, um das Operationsgebiet zu betrachten, erst danach werden die Instrumente eingeführt. Die Endeffektoren sind damit im Allgemeinen nicht im Sichtbereich des Endoskops. Der vorgestellte Zielführungsprozess erleichtert diese „blinde Navigation“, wenn das Endo- skop als Ziel gewählt wird. Auch während der Operation kann die Visualisierung der momentanen Kamera- position für den Assistenten beim Einführen und Navigieren des Instruments eine Hilfe bieten. Durch das System ist eine genaue Navigation zu Zielregionen möglich, die der Operateur in der präoperativen Bildge- bung segmentiert und zum berechneten Navigationspfad hinzugefügt hat. Durch eine Integration von Navigationssymbolen in das Endoskopbild, bleibt die Indirektion zwischen Blick- richtung und Intervention am Situs bestehen, jedoch wäre Informationszuwachs im betrachteten Endoskopbild gegeben. Im Gegenzug könnte durch eine entzerrte Projektion präoperativer Bilddaten auf das Abdomen der Informationsgewinn beim direkten Betrachten des Patienten erhöht werden. Beispiels- weise könnten Schichten der präoperativen Bildgebung als Draufsicht durch das System entzerrt auf das Abdomen projiziert werden, wobei die Höhe der dargestellten Schicht durch die Höhe der Instrumenten- spitze bestimmt wird und der Operateur durch ein am Instrumentengriff angebrachtes Scrollrad zusätzlich die Möglichkeit bekommt durch die Schichten zu navigieren. Bei fortlaufender Entwicklung echtzeitfähiger Bildgebungsverfahren, kann in Verbindung mit Methoden der Erweiterten Realität, darüber hinaus das Ziel verfolgt werden, Operateuren in der minimal invasiven Chirurgie die Möglichkeit zu bieten, „durch den Ab- Proceedings curac2010@MEDICA 123 domen hindurch“ zu sehen. Eine dreidimensionale Visualisierung der Anatomie auf dem Abdomen des Pa- tienten wäre dann dadurch möglich, das Projektorsystem mit Shutter-Brillen zu synchronisiert und abwech- selnd Bilder für das rechte und das linke Auge zu projizieren. Durch Tracken der Blickrichtung der Operateu- re kann so der Eindruck eines dreidimensionalen Bildes erzeugt werden. Im vorgestellten Ansatz gibt der Operateur an, wann eine Zielregion erreicht ist. Zudem ist eine Kontrolle der Übertragbarkeit der Pfade nötig. Ein weiteres Forschungsziel ist eine kognitive Erweiterung des Ansat- zes, um eine automatische Übertragung und Zielführung über die gesamte Intervention hinweg zu errei- chen. Dies erfordert Kontextwissen und eine semantische Interpretation der Intervention. In Kombination mit optimierten Trokarpositionen, wie sie in [7] beschrieben werden, ergibt sich ein Erwei- tertes Realitäts - System, mit dem Zielregionen intuitiv auf dem Abdomen visualisiert werden, um dem Operateur Hilfestellungen für eine erfolgreiche Operation zu bieten. 4 Referenzen [1] Z. Pezzementi, A.M. Okamura, G.D. Hager. Dynamic Guidance with Pseudoadmittance Virtual Fixtures. Proc. of the Int. Conference on Robotics and Automation, Seiten 1761-1767, 2007. [2] M. Li and R. H. Taylor. Spatial motion constraints in medical robot using virtual fixtures generated by anato- my. Proc. IEEE Intl. Conf. Robotics and Automation, Seiten 1270–1275, 2004. [3] T. L. Gibo et al. Design considerations and human-machine performance of moving virtual fixtures. IEEE Conf of Robotics and Automation, Seiten 671 – 676, May 2009. [4] L. B. Rosenberg. Virtual fixtures: Perceptual tools for telerobotic manipulation. Proc. of the IEEE Annual Int. Symposium on Virtual Reality, Seiten 76–82, 1993. [5] H. Hoppe und H. Wörn: Augmented Reality in the Operating Theatre of the Future. Proc. of the 4th Int. Confe- rence on Medical Image Computing and Computer-Assisted Intervention (MICCAI) 2001, Springer, Seiten 1195- 1196, 2001. [6] H. Hoppe, C. Kübler, J. Raczkowsky, H. Wörn, S. Hassfeld: A Clinical Prototype System for Projector-Based Augmented Reality: Calibration and Projection Methods. Proc. of the 16th Int. Congress and Exhibiton on Com- puter Assisted Radiology and Surgery (CARS) 2002, Springer, Seite 1079, 2002. [7] H. Wörn, O. Weede: Optimizing the setup configuration for manual and robotic assisted minimally invasive surgery, World Congress on Medical Physics and Biomedical Engineering, September 7 - 12, 2009, Munich, Germany, Seiten 55 - 58, 2009. [8] Stryker Leibinger. Enhanced Illumination Device and Method. Patent Nr. US2005/-0195587A1, 2004. [9] A. Seitel et al.: In-vitro evaluation of different visualization approaches for computer assisted targeting in soft tissue, Int. J. CARS 2007, Suppl. 1, Seiten 188-190, 2007. [10] C. Schönfelder, T. Stark, L. Kahrs, J. Raczkowsky, H. Wörn, N. Belherazem, B. Müller, C. Gutt: Port visualization for laparoscopic surgery – setup and first intraoperative evaluation, Int J CARS, Seiten 141-142, 2008. 5 Danksagung Die vorliegende Arbeit entstand im Rahmen des Graduiertenkollegs 1126 – „Intelligente Chirurgie – Ent- wicklung neuer computerbasierter Methoden für den Arbeitsplatz der Zukunft in der Weichteilchirurgie“ und wurde durch die Deutsche Forschungsgemeinschaft (DFG) unterstützt. 124 Proceedings curac2010@MEDICA