Der vorliegende Beitrag beschreibt ein neuartiges, handgeführtes, projektorbasiertes Augmented-Reality-System für medizinische Anwendungen. Die Komponenten des Systems ermöglichen die lagerichtige Projektion visueller Informationen in Echtzeit unmittelbar auf die Oberfläche eines Patienten, wobei Nachteile konventioneller Augmented-RealityAnsätze vermieden werden. Bedingt durch die zunehmende Miniaturisierung kommerziell verfügbarer Projektoren konnte ein kompakter Aufbau realisiert werden, der sowohl die klinischen Anforderungen hinsichtlich Dynamik und Genauigkeit der projizierten Informationen als auch den Wunsch nach flexibler Handhabbarkeit erfüllt. Ein optisches Navigationssystem dient der Erfassung der Lage des Projektors und der Projektionsfläche, also des Patienten. Das System eignet sich zur Visualisierung medizinischer Bilddaten wie beispielsweise der Lage anatomischer Strukturen oder Operationsplänen. Ferner kann das System zur Darstellung von Navigations- und Ausrichtungsanweisungen für chirurgische Instrumente verwendet werden. Schlüsselworte: Projektorbasierte Augmented Reality, medizinische Visualisierung, chirurgische Navigation Im Rahmen moderner chirurgischer Eingriffe steht dem Operateur ein umfangreicher Bestand an patientenspezifischem, medizinischem Datenmaterial zur Verfügung. Dieses wird heutzutage beispielsweise im Umfeld der sog. image guided surgery (IGS) eingesetzt. Dabei werden dem Arzt durch den Einsatz von Navigationssystemen die Lagen chirurgischer Instrumente relativ zum Patienten in präoperativen Bilddatensätzen visualisiert oder anhand eines bildgestützt erstellten Operationsplanes konkrete Ausrichtungsanweisungen gegeben. Zudem können in den Bilddaten spezielle Zusatzinformationen angezeigt werden, wie beispielsweise Gewebearten, Schnitt- und Bohrmarkierungen oder auch Risikostrukturen. Nachdem sich derartige Systeme zunehmend etablieren, verbleibt die größte Herausforderung in der Wahl einer geeigneten, dem operativen Umfeld angepassten Darstellungsweise. Aktuell werden im klinischen Umfeld primär MonitorSysteme eingesetzt. Problematisch ist dabei einerseits, dass eine Vielzahl von visuellen Informationen simultan angezeigt wird. Der Chirurg muss den Umgang mit derartigen Systemen daher zunächst trainieren. Andererseits gerät der Patient durch die Konzentration des Chirurgen auf einen Monitor aus dem Fokus. Der Blickwechsel zwischen Patient und Monitor führt zudem zu schneller Ermüdung sowie einem Verlust der Genauigkeit. Erschwerend kommt hinzu, dass eine Hand-Auge-Koordination nicht intuitiv möglich ist [5]. Zusammen mit der anspruchsvollen Führung des chirurgischen Mikro-Instrumentariums resultiert eine erhebliche Belastung des Chirurgen während des Eingriffs. Zum Zwecke einer Optimierung der Darstellungsweise von Informationen sind daher Augmented-Reality-Ansätze Gegenstand aktueller Forschungen. Ziel ist dabei die Visualisierung von Daten unmittelbar im Blickfeld des Chirurgen. Dieser Ansatz basiert auf einer simultanen Darstellung der Realität, also des Patienten, und zusätzlicher visueller Informationen. Charakteristisch ist in diesem Zusammenhang, dass reale und virtuelle Objekte bezüglich ihrer Lage in Beziehung gesetzt werden [3]. Im medizinischen Umfeld werden derzeit primär zwei Arten von Augmented-Reality-Systemen erprobt. Einerseits erfolgt die Anzeige von Zusatzinformationen unter Verwendung von sogenannten Head-Mounted-Displays (HMD) [4] oder See-Through-Devices (STD) [8]. Bei ersteren handelt es sich um visuelle Ausgabegeräte, die am Kopf fixiert werden und Informationen mit Hilfe von transparenten, augennahen Bildschirmen darstellen. Möglich ist auch eine Projektion direkt auf die Netzhaut. Diese Technologie ist jedoch nicht frei von Nachteilen: Der Chirurg wird durch ein üblicherweise kabelgebundenes, kopf-fixiertes System in seiner Bewegungsfreiheit stark eingeschränkt. Zudem führt der ständige Fokuswechsel, bedingt durch den augennahen Monitor, zu schneller Ermüdung. Nachteilig ist auch, dass die eingeblendeten Zusatzinformationen ausschließlich von der Person wahrgenommen werden können, die das HMD trägt
- typischerweise der operierende Chirurg. Ähnliche Eigenschaften haben auch Augmented-Reality-Systeme, die auf beweglichen, halbtransparenten Displays basieren (STD).
Ein zweiter Ansatz zur Realisierung von Augmented Reality basiert auf dem Einsatz von Projektoren. Dabei werden Zusatzinformationen unmittelbar auf den Patienten projiziert. Vorteilhaft ist, dass die Projektion von allen am chirurgischen Eingriff beteiligten Personen erkennbar ist. Die für den medizinischen Einsatz konzipierten Systeme basieren oft auf stationär oberhalb des Patienten montierten Projektoren. Problematisch sind dabei Abschattungen des projizierten Bildes, die beispielsweise entstehen, wenn sich der Chirurg über den Patienten beugt.
Das hier vorgestellte Systeme greift die Vorteile der projektorbasierten Augmented-Reality-Systeme auf und umgeht den Nachteil der Abschattung durch ein kompaktes, mobiles und handgeführtes Konzept, das im Folgenden vorgestellt wird. 2
Das handgeführte Augmented-Reality-System besteht aus einer CCD-Kamera (uEye, UI-2250SE-C, im Folgenden mit dem Index K abgekürzt), die der Kalibrierung des Systems dient, und einem Projektor (aaxa, P2, Index P). Diese Komponenten sind an einem Handgriff befestigt, an dem sich zusätzlich Navigationsmarker (TP) zur Lokalisation des Handgerätes mit Hilfe eines optischen Navigationssystems (Advanced Realtime Tracking, ARTtrack 2, Index ART) befinden. Abbildung 1 zeigt das Handgerät. lProjektor
50mm
Abb.1 : Projektorbasiertes, handgeführtes Augmented-Reality-System (links), Skizze des Aufbaus zur
lagerichtigen Projektion der Lage von Blutgefäßen sowie relevante Koordinatensysteme (rechts)
Zur lagerichtigen Projektion von Bildinformationen auf den Patienten muss zusätzlich dessen Lage bezüglich des
Augmented-Reality-Systems bekannt sein. Daher ist ein weiteres Tracking Target am Patienten (TSP) angebracht, so dass
auch die Lage des Patienten mit Hilfe des optischen Navigationssystems bestimmt werden kann. Einen beispielhaften
Aufbau unter Verwendung eines Schädel-Phantoms (SP) sowie die relevanten Koordinatensysteme zeigt Abbildung 2.
Die Software zur Ansteuerung des Projektors und zur Berechnung des Projektorbildes ist in C++ verfasst. Die
implementierte Visualisierungs-Pipeline des Systems basiert auf den quelloffenen Bibliotheken OpenCV (Bildverarbeitung)
[
Die beschriebene Systemkalibrierung ist einmalig vorzunehmen.
Das System ist für eine Vielzahl von Anwendungsbereichen flexibel einsetzbar. Beispielhaft sollen im Folgenden zwei Applikationen vorgestellt werden: Die lagerichtige Projektion von Risikostrukturen am Beispiel eines Blutgefäßes sowie die Projektion von Ausrichtungsanweisungen beispielsweise zur Durchführung einer Punktion oder Biopsie. Mit Hilfe des Projektors soll die Lage eines an der Schädelinnenseite gelegenen Blutgefäßes von außen lagerichtig auf den Schädel projiziert werden. Zu diesem Zweck wird ein CT-Scan eines Schädelphantoms durchgeführt, an dessen Innenseite der Verlauf des Blutgefäßes angedeutet ist. Im Rahmen einer präoperativen Planungsphase wird das zu visualisierende Blutgefäß im CT-Datensatz segmentiert. Zur lagerichtigen Projektion dieser anatomischen Risikostruktur ist die Transformationsvorschrift gesucht, die den Zusammenhang zwischen segmentierten CT-Daten (SP) und Projektorbild (PB) beschreibt.
Zur Bestimmung des Zusammenhangs zwischen dem am Phantom befestigten Tracking-Target (TSP) und dem CTDatensatz (SP) kann eine punktbasierte Registrierung unter Verwendung natürlicher oder künstlicher Landmarken durchgeführt werden. Anschließend wird mit Hilfe des optischen Navigationssystems die gesuchte Transformationsvorschrift zwischen Projektorbild und CT-Datensatz des Phantoms bestimmt und in Echtzeit aktualisiert. Bezogen auf das bereits beschriebene Beispiel wird das Projektorbild wie folgt berechnet: Basierend auf dem CTDatensatz des Patienten wird der Verlauf des zu visualisierenden Blutgefäßes durch eine Punktmenge charakterisiert. Die Punkte, deren Lage im Raum vom Navigationssystem gemessen wird, werden unter Anwendung der Modellgleichungen des Projektors und unter Berücksichtigung der Linsenverzeichnungen in das Projektorbild transformiert. Die resultierenden Pixelwerte werden linear interpoliert, wodurch ein Polygonzug entsteht, der den rekonstruierten Verlauf des Blutgefäßes repräsentiert. Die Projektion des auf diese Weise berechneten Projektorbildes liefert eine lagerichtige Darstellung des Blutgefäßes auf der Schädeldecke des Phantoms, die zyklisch auf Basis der Lageinformationen des optischen Navigationssystems aktualisiert wird. Dies zeigt Abbildung 2.
Das beschriebene Verfahren ist unabhängig von der Art der zu visualisierenden Struktur. Denkbar ist auch die Darstellung weiterer medizinischer Planungsdaten wie beispielsweise Schnitt- und Bohrmarken sowie Bereiche mit bestimmten Materialeigenschaften.
Neben dem beschriebenen Beispiel ist es mit Hilfe des Augmented-Reality-Systems möglich, Bilddaten, wie beispielsweise Texturen, lagerichtig auf die Oberfläche des Patienten zu projizieren. Sofern die Kontur dieser nichtplanaren Oberfläche bekannt ist, kann das zu projizierende Bild unter Anwendung einer elastischen Transformation, in diesem Fall einer Thin-Plate-Spline-Transformation, entsprechend vorverzerrt werden.
Als zweite Beispielapplikation soll die Verwendung des Systems zur Projektion von Anweisungen zur Positionierung
und Ausrichtung eines medizinischen Instrumentes vorgestellt werden. So kann beispielsweise die Insertion von
Biopsienadeln, die im CT-gesteuerten Fall mit einer hohen Strahlenbelastung des Patienten und insbesondere des
Ausführenden verbunden sein kann [
Das handgeführte, projektorbasierte Augmented-Reality-System ermöglicht die lagerichtige Darstellung medizinischer Planungsdaten auf der nichtplanaren Oberfläche des Patienten sowie die Anzeige von Anweisungen zur Ausrichtung chirurgischer Instrumente. Dabei werden Nachteile von monitorbasierten Darstellungskonzepten sowie konventionellen Augmented-Reality-Ansätzen vermieden.
Die erreichte Projektionsgenauigkeit ist auf eine sorgfältige Kalibrierung der Systemkomponenten zurückzuführen. Unter Berücksichtigung der zahlreichen Fehlerquellen (Kalibrierung, optische Navigation, punktbasierte Registrierung) muss im Worst-Case mit einer geringeren Projektionsgenauigkeit gerechnet werden.
Das System in der beschriebenen Form eignet sich ausschließlich zur Darstellung oberflächennaher, anatomischer Strukturen. Bei größerer Tiefe des Objektes unterhalb der Projektionsfläche lokalisiert der Chirurg die visualisierte Struktur in Abhängigkeit seines Blickwinkels an einer falschen Stelle. Um dies zu verhindern, könnte in Zukunft die Position und die Blickrichtung des Chirurgen zusätzlich mit Hilfe des Navigationssystems erfasst werden. Die Vorteile des vorgestellten Systems liegen in den vielfältigen Einsatzmöglichkeiten, da beliebige visuelle Informationen darstellbar sind. Zudem bietet das Konzept Miniaturisierungspotenzial, das die Integration von Projektormodulen in chirurgische Instrumente in naher Zukunft ermöglichen wird. 5