Dieser Beitrag stellt ein Überwachungssystem für den Operationssaal vor, das die Grundlage für eine kooperative robotergestützte Chirurgie bildet. Um die Zusammenarbeit zwischen Chirurg und Roboter im selben Arbeitsraum zu ermöglichen, wird zusätzlich zum herkömmlichen markerbasierten Tracking ein System aus neuartigen PMD Tiefenbildkameras eingeführt. Dieses ermöglicht es, beliebige Menschen und Objekte in der überwachten Szene als Punktwolken zu erfassen. Die Informationen über die Position der Menschen und Objekte stellen die Grundlage für die Bahnplanung des Roboters dar, so dass dieser beispielsweise die Position des Chirurgen in seine Bewegungen einbeziehen kann. Beschrieben werden die eingesetzten Methoden zur Erfassung der Informationen der Szene, die Registrierung der verschiedenen Datenquellen sowie die ersten Verarbeitungsschritte.
Die Erkennung der Position von Menschen und anderen in der Szene vorhandenen Objekten erfolgt mittels eines Systems aus mehreren PMD-Kameras. Diese arbeiten nach dem Time-of-Flight (ToF) Prinzip, bei dem über eine Messung der Laufzeit eines ausgesandten Infrarotimpulses ein Tiefenbild der Szene berechnet wird.
Zur Kamera gehört neben dem Sensor ein Beleuchtungsmodul, das (in regelmäßigen Abständen oder per Hard-/Software getriggert) einen kurzen Infrarotblitz aussendet. Trifft der Impuls auf ein Objekt und wird dort reflektiert, so kann er nach kurzer Laufzeit vom Sensor der Kamera detektiert werden. Da sich die Laufzeit des Impulses proportional zur Distanz zwischen Kamera und Objekt verhält, lässt sich hieraus direkt ein Tiefenbild der Szene berechnen. Zur Erhöhung der Messgenauigkeit basiert das Tiefenbild auf der Integration mehrerer Messungen (siehe Abb. 1). Für den endgültigen Aufbau des Systems ist der Einsatz von sechs Tiefenbildkameras der Baureihen [PMDVision] S3 und [PMDVision] CamCube 2.0 vorgesehen. Die von jeder Kamera erzielbare Bildrate variiert abhängig von der Szene bzw. der notwendigen Belichtungszeit, abgedeckt wird eine Entfernung bis 7,5 m bei einer Genauigkeit der Tiefenauflösung bis ca. 5 mm. Um zu verhindern, dass in die Laufzeitberechnung einer Kamera fälschlicherweise Impulse einer anderen Kamera einfließen, werden die Kameras in zwei Gruppen im Zeitmultiplexverfahren betrieben, während innerhalb der Gruppen Frequenzmultiplexing zum Einsatz kommt [4].
Der Vorteil der neuartigen PMD-Kameras liegt im Vergleich zu markerbasierten Verfahren darin, dass Objekte zur Erkennung nicht erst mit Markern versehen werden müssen und somit die komplette Szene abgebildet wird. Im Vergleich zu anderen tiefenbildgebenden Systemen haben PMD-Kameras den Vorteil, dass keine zusätzliche Rechenleistung notwendig ist (wie bei Stereokamerasystemen) und im Gegensatz zu Laserscannern keine verschleißenden, beweglichen Teile eingebaut sind sowie die komplette Szene zur selben Zeit aufgenommen wird.
Abb. 1: In der Szene erfasste Daten, links: Kamerabilder des ART-Trackingsystems mit detektierten Markerpunkten des Kalibrierkörpers, rechts: Tiefenbilder der PMD-Kameras mit Roboter und Kalibrierkörper
Die Position und Orientierung von Gegenständen, an denen reflektierende Marker bzw. ein mit Markern versehener sog. Body angebracht werden können, lassen sich durch den Einsatz eines Infrarot-Trackingsystems präzise und in Echtzeit verfolgen. Ein solches System besteht aus mindestens zwei Kameras, die jeweils ein zweidimensionales Bild der Position der von ihr sichtbaren Marker liefern (siehe Abb. 1). Zur Registrierung der frei im Raum platzierbaren Kameras dient ein vom Hersteller geliefertes Programm, das aus Bewegungen eines von allen Kameras sichtbaren Referenzkörpers vollautomatisch die Positionen der Kameras im Raum errechnet. Der Ursprung des zu verwendenden Koordinatensystems kann durch Platzierung eines zweiten Referenzkörpers frei gewählt werden.
Im vorgeschlagenen Aufbau des Überwachungssystems kommen vier bis sechs ARTtrack2-Kameras mit einer Bildrate von bis zu 60 Bildern pro Sekunde zum Einsatz, die eine Entfernung bis zu vier Meter abdecken. Die Auswertung der aufgenommenen Daten und der Abgleich mit den in einer Datenbank gespeicherten Abmessungen bekannter Bodies erfolgt in Echtzeit auf einem dedizierten Steuerrechner.
Mit den in der Szene angebrachten PMD-Kameras, dem ART-Trackingsystem und dem Roboter stehen drei Informationsquellen über die Szene zur Verfügung, die jeweils unterschiedliche Daten in unterschiedlichen Koordinatensystemen liefern (siehe Tabelle 1).
3D-Abbild der Szene als Punktwolke Position und Orientierung der Bodies Position und Orientierung der Gelenke und des Tool Center Point (TCP)
Bildsensor der Kamera
Position des Kalibrierkörpers während einmaliger Kalibrierung
Position des Roboters
Tabelle 1: Übersicht der erfassten Daten und der zugrundeliegenden Koordinatensysteme Um aus diesen Daten ein Modell der Szene generieren zu können, müssen zunächst in einer einmaligen Registrierung die relativen Lagen der Koordinatensysteme zueinander bestimmt werden. Dies geschieht automatisch mittels eines am (Tool Center Point) TCP des Roboters angebrachten Kalibrierkörpers. Dieser Kalibrierkörper ist mit verschiedenen Markern versehen, so dass er sowohl vom ART-System erkannt werden kann als auch im Intensitätsbild der PMDKameras segmentierbar ist.
Der Roboterarm fährt automatisch eine Sequenz verschiedener Posen an, in denen die Marker vom ART-System sichtbar sind und jede PMD-Kamera mehrere Posen erkennen kann. In allen Posen wird die Position und Orientierung des Kalibrierkörpers vom ART-Trackingsystem aufgezeichnet sowie die Position des TCP vom Roboter abgefragt. Erkennt eine PMD-Kamera alle am Kalibrierkörper angebrachten Merkmale, so werden deren Koordinaten berechnet und ebenfalls gespeichert.
Nach dieser automatisch ablaufenden Registriersequenz liegen sämtliche Informationen vor, die zur Berechnung der Transformationen zwischen den Koordinatensystemen benötigt werden. Unter Einsatz der Methode aus [5] wird für jede PMD-Kamera aus den von ihr aufgenommenen Merkmalspositionen und der vom ART-Trackingsystem aufgezeichneten korrespondierenden Pose des Kalibrierkörpers die Transformationsmatrix zwischen PMD-Kamera und ARTTrackingsystem bestimmt. Sind die PMD-Kameras bereits untereinander registriert, so muss dieser Schritt nur für eine PMD-Kamera ausgeführt werden; die Transformationen der restlichen PMD-Kameras zum Koordinatensystem des ARTTrackingsystems lassen sich mittels Verkettung der jeweiligen Transformationen berechnen.
Durch einen am Institut entwickelten Algorithmus [6] wird auf Basis der vom Roboter aufgezeichneten TCP-Position und der vom ART-Trackingsystem gemessenen Pose des Kalibrierkörpers die Position des Roboters in Bezug auf das ART-Trackingsystem berechnet. Zusätzlich liefert dieser Algorithmus den Versatz des Kalibrierkörpers zum TCP des Roboters, der für weitere Validitätsprüfungen genutzt werden kann.
Abb. 2: verschiedene Darstellungen einer Szene mit Roboter, Person und Instrument mit Markern. Oben links: reale Szene im Labor, oben rechts: aus PMD-Daten extrahierte Punktwolke (ungefiltert) mit Positionen der verwendeten PMD-Kameras, unten links: aus ART rekonstruierte Position des Instruments, unten rechts: digitales Modell der Szene
Vor der Fusion der Daten erfolgt zusätzlich eine Vorverarbeitung der aus den PMD-Kameras gewonnenen Tiefenbilder. Anhand eines vorgelernten statistischen Modells der Kameraperspektive der leeren Szene (z.B. Operationssaal ohne Patient, Roboter und Chirurg) wird aus dem kompletten Abbild der Szene der Hintergrund detektiert und herausgefiltert. Dies verringert den weiteren Berechnungsaufwand und stellt sicher, dass nur die relevanten Informationen über Objekte im Vordergrund in die weitere Analyse der Szene einfließen.
Nun liegen alle Informationen über die Szene in einem gemeinsamen Koordinatensystem vor, wie in Abb. 2 dargestellt: a) die Position unbekannter Objekte (Menschen, Geräte), durch PMD-Kameras als Punktwolke erfasst b) die Position eventueller mit Markern ausgestatteter Instrumente c) die Position des TCP des Roboters aus zwei unabhängigen Datenquellen (internes Modell des Roboters, Tracking eines Bodies am TCP durch ART) Zur schnellen und intuitiven Visualisierung der erfassten Daten dient ein im Vorfeld erstelltes, digitales 3D-Modell der Szene. Dieses umfasst auch ein Modell des Roboters, das über korrekte Gelenkinformationen verfügt. Durch einen Abgleich markanter Punkte in der realen Szene, deren Position einmalig durch Pivotisierung bestimmt wird, und ihrer Position in der digitalen Szene können die real erfassten Werte, z.B. Punktwolken von Objekten oder die Position des Roboters, in das digitale 3D-Modell integriert werden. Zur Anzeige der entstandenen Szene und zur darauf basierenden weiteren Bahnplanung des Roboters dient OpenRAVE [6]. 3
Das beschriebene System wurde erfolgreich im Labor aufgebaut und erfasst wie beschrieben Daten von unbekannten Objekten und Menschen sowie von mit Markern versehenen Instrumenten. Als problematisch für die Erfassung durch die Tiefenbildkameras erwiesen sich schwarze und stark seitlich reflektierende Flächen. Bei diesen ist die Reflektion des Lichtimpulses in Kamerarichtung nicht stark genug, so dass zu wenige Informationen zur Berechnung der Distanz vorliegen. Pixelwerte mit einem undefinierten Distanzwert werden aus der weiteren Berechnung ausgeschlossen, wie in Abb.1 im rechten Bild sichtbar ist: die einheitlich grauen Flächen innerhalb der Bilder entsprechen undefinierten Distanzwerten.
Im momentanen Ausbau des Systems kommen drei [PMDVision] S3-Kameras mit einer Auflösung von 64x48 Pixel zum Einsatz, die die Szene aus verschiedenen seitlich nach oben versetzten Positionen erfassen (siehe Abb. 2). Bei einem Blickwinkel von 40° x 30° werden zwei Meter von der Kamera entfernte Objekte mit einer horizontalen und vertikalen Auflösung von 3cm/Pixel abgebildet. Zur Verbesserung dieser Genauigkeit wird das System derzeit um eine [PMDVision] CamCube erweitert, die bei einem Blickwinkel von 40° x 40° bereits 204x204 Pixel auflöst. Durch deren Anbringung senkrecht oberhalb der Szene verkürzt sich der Abstand zwischen Kamera und Objekten, so dass voraussichtlich eine horizontale und vertikale Auflösung von ca. 0.5cm/Pixel erzielt werden kann.
Die Kameras werden im Double-Sampling Modus betrieben, bei dem zwei kurz hintereinander aufgezeichnete Bilder zu einer Aufnahme zusammengerechnet werden. Eine einzelne Kamera liefert in diesem Modus eine Framerate von ca. 15 Bildern pro Sekunde. Dieser Wert wird auch beim Betrieb der kompletten Kameragruppe aus drei Kameras erzielt, dh. das Szenenmodell wird mit 15Hz aus drei verschiedenen Blickwinkeln aktualisiert. Beim künftigen Einsatz von zwei Gruppen mit je drei PMD Kameras im Zeitmultiplexverfahren ist dementsprechend eine kombinierte Aktualisierungsrate des Szenenmodells von 25 – 30 Hz zu erwarten. 4
Das hier vorgestellte System ist in der Lage, Informationen über den aktuellen Zustand z.B. des Operationssaals durch verschiedene Systeme (ART, PMD-Kameras) zu erfassen und zu verarbeiten. Die Erfassung von Menschen und unbekannten Objekten liefert die Grundlage für den Einsatz eines Roboters im selben Arbeitsraum wie ein Chirurg. Auf Basis der erfassten Daten sind verschiedene Strategien denkbar, um eine Kollision zwischen Roboter und Chirurg je nach Situation zu vermeiden oder deren Parameter zu kontrollieren. Führt der Roboter eine freie Bewegung aus, so können die erkannten Positionen von Mensch und Objekten als Hindernisse in die Bahnplanung eingefügt werden. Droht eine Kollision mit einem derartigen Hindernis wird entweder ein anderer, hindernisfreier Pfad zur Zielpose gesucht und ausgeführt oder der Roboter stoppt, bis der Weg frei ist.
Hat der Roboter bereits seine Zielstellung erreicht und darf der Endeffektor (z.B. ein chirurgisches Instrument) nicht mehr ohne Weiteres bewegt werden sind in Abhängigkeit vom verwendeten Robotertypen weitere Methoden zur Kollisionsvermeidung möglich. Bei einem siebenachsigen Leichtbauroboter kann (aufgrund des durch das siebte Gelenk zusätzlich verfügbaren Freiheitsgrades) die Stellung der Segmente des Roboterarms verändert werden, ohne dabei den Endeffektor zu bewegen. Wird durch das Überwachungssystem in einer speziellen Situation eine hohe Wahrscheinlichkeit für eine Kollision mit einem mittleren Segment des Roboters erkannt, so könnte unter Beibehaltung der Endeffektorposition eine Ausweichbewegung zur Kollisionsvermeidung initiiert werden. Droht hingegen eine Kollision mit dem Endeffektor und darf dieser seine Position nicht oder nur leicht verändern, ließe sich präventiv die Steifigkeit des Roboters anpassen, um situationsabhängig die Kollision abzufedern oder die Beibehaltung der Position zu garantieren.
Weiterhin können die im vorgestellten System erfassten Daten genutzt werden, um die Sicherheit bei kooperativen robotergestützten Operationen mittels zusätzlicher Maßnahmen zu gewährleisten. Hierzu zählt beispielsweise eine komplette Überwachung der Roboterstellung, bei der nicht nur die Position des TCPs redundant kontrolliert wird, sondern die Pose des ganzen Roboterarmes laufend überprüft wird. Nach einer Segmentierung der durch die PMD-Kameras erfassten Punktwolke in unterschiedliche Objekte wäre auch die Einpassung eines einfachen Skelettmodells in die erkannten Menschen möglich. Dies könnte als Anhaltspunkt für Plausibilitätsprüfungen dienen und die Überwachung (teil)verdeckter Bereiche ermöglichen.
Diese Arbeit wurde finanziert durch das siebte Rahmenprogramm der Europäischen Kommission innerhalb des Projekts „SAFROS – Patient Safety in Robotic Surgery“ unter Grant. Nr. 248960. 5