Dieser Beitrag beschäftigt sich mit dem Aufbau eines Mehrkamerasystems bestehend aus 3D-PMD Kameras zur Überwachung eines Operationssaals in der roboterunterstützten Chirurgie. Der Einsatz mehrerer PMD-Kameras ermöglicht eine schnelle und robuste Positionserkennung aller sich im Raum befindlichen Personen sowie die Erkennung des Robotersystems. Auf diese Weise ist es möglich Sicherheitskonzepte zur kollisionsfreien und gefahrlosen Benutzung eines Robotersystems im Operationsumfeld zu entwickeln. Im Folgenden werden der Aufbau und die Kalibrierung des PMDKamerasystems vorgestellt.
Wie bereits erwähnt basiert die PMD-Technik auf einem „Time-of-Flight“-Messverfahren. Die Entfernung wird folglich durch die Bestimmung der Lichtlaufzeit ermittelt. Hierzu besitzt die Kamera ein Beleuchtungsmodul, welches Licht im infraroten Spektralbereich emittiert. Dieses Licht wird mit einer Frequenz von ungefähr fmod = 20MHz periodisch moduliert. Das von der Kameraumgebung reflektierte Lichtsignal gelangt anschließend durch eine Optik auf den PMD-Chip. Dort wird innerhalb von jedem Pixel, durch ein Verfahren ähnlich einem Mischprozess, die Phasenverschiebung zwischen dem ausgesendeten Licht als Referenzsignal und dem einfallenden reflektierten Licht bestimmt. Über die Phasenverschiebung kann für jedes Pixel ein Entfernungswert berechnet werden. Jedes Pixel besitzt zudem eine Schaltung zur Unterdrückung des Hintergrundlichts. Dies gewährleistet einen Betrieb ohne Überbelichtung der einzelnen Pixel auch bei starkem Fremdlicht, wie dies der Fall in Operationsräumen sein kann. Des Weiteren kann die Beleuchtungszeit der Kamera frei gewählt werden. Für normale Reflektivität der Kameraumgebung liegt diese zwischen 0,8ms und 2ms. Das Messrauschen der PMD-Kamera ist abhängig von der Reflektivität und der Entfernung des aufgenommenen Objekts, also der Menge und Intensität des reflektierten Lichtsignals, welches während der Belichtungszeit von dem Sensor empfangen wird. Für Objekte mit guter Reflektivität und einer Entfernung unterhalb von 4m können Messwerte mit einer Genauigkeit von unter 5mm erreicht werden.
Großer Vorteil des PMD-Prinzips ist, dass bei jeder 3D-Bildaufnahme ebenfalls ein 2D-Grauwertbild aufgenommen wird. Auf diese Weise kann die 3D-Szene mit einer Textur belegt werden, welches eine umfangreiche Bildverarbeitung ermöglicht. Abb. 1: PMD-Kameras a) CamCube 2.0 [1] mit einer Auflösung von 204x204 Pixeln mit zwei externen seitlich angebrachten Beleuchtungmodulen b) PMDVision S3 mit 64x48 Pixeln mit einem integrierten Beleuchtungsmodul Zurzeit sind verschiedene Modelle von PMD-Kameras der Firma PMDTec erhältlich, vergl. Abb. 1, welche sich durch deren Bauform, Auflösung und Preis unterscheiden. Es gibt ein Modell mit einer lateralen Auflösung von 64x48 Pixeln und eine höher auflösende Kamera mit 204x204 Pixeln.
Um eine möglichst vollständige Abdeckung des Operationssaals zu erhalten, wird eine Konfiguration mit 6 Kameras vorgeschlagen. Diese sind wie auf Abb.2 skizziert in dem etwa 5x5m großen Raum angebracht. Die Anordnung der Kameras in den oberen Raumecken mit Blickrichtung in das Raumzentrum führt zu einer Minimierung möglicher Überdeckung zwischen Objekten oder Operationspersonal. Dazu kommen zwei weitere an der Decke oberhalb des Operationstisches angebrachte PMD-Kameras. Dies ermöglicht eine präzisere Überwachung des relevanten Gebiets. Mögliche Verdeckungen des relevanten Gebietes durch bewegliche Operationslampen werden durch eine optimierte Positionierung der Kameras größtenteils verhindert. In einem weiteren Schritt könnten die Kameras zur völligen Vermeidung der Überschattungen durch Operationslampen beispielsweise in diese integriert werden.
Für das Mehrkamerasystem kommen insgesamt fünf PMDVision S3 und eine CamCube 2.0 zum Einsatz. Die hochauflösende CamCube wird oberhalb des Roboters befestigt. Dies ermöglicht neben einer präziseren Überwachung des relevanten Gebiets zusätzlich Vorteile bei der späteren Kalibrierung des Kamerasystems.
Bei der Verwendung mehrerer PMD-Kameras müssen prinzipbedingte Phänomene beachtet werden. Das „Time-ofFlight“-Verfahren mit interner Beleuchtung führt zur Überlagerung der Lichtsignale unterschiedlicher Kameras, aufgrund dessen die gemessenen Entfernungswerte verfälscht werden. Nach [1] kann dies jedoch durch die Verwendung unterschiedlicher Modulationsfrequenzen vermieden werden. Das Licht von Kameras mit anderer Modulationsfrequenz als der eigenen wird von einer Kamera bei einer Beleuchtungszeit von mehrfacher Länge der Periodendauer des Lichtsignals als Fremdlicht wahrgenommen und trägt nicht mehr zur Verfälschung der Entfernungsmessung bei. Der Hersteller bietet die Möglichkeit insgesamt drei unterschiedliche Modulationsfrequenzen einzustellen. Da allerdings sechs Kameras betrieben werden sollen, werden zwei Kameragruppen mit je drei Kameras gebildet, welche jeweils mit einer anderen Frequenz betrieben werden. Die zwei unterschiedlichen Gruppen werden im Zeitmultiplexbetrieb angesteuert. Dies bedeutet, dass die Bilder der Gruppen zu unterschiedlichen Zeitpunkten aufgenommen werden. Vorteil dieses zeitversetzten Aufnehmens ist zudem eine Reduzierung der Szenenbeleuchtung. Hierdurch kann eine Überbelichtung von PMD-Pixeln vermieden werden.
Zur Verwendung der aufgenommenen einzelnen 3D-Bilddaten für die Steuerung des Chirurgieroboters müssen diese zu einer Umweltrepräsentation zusammen gefügt werden. Dies geschieht durch verschiedene entwickelte Kalibrierverfahren, auf welche im nächsten Abschnitt näher eingegangen wird. 3
Durch die Verwendung unterschiedlicher Modulationsfrequenzen können die entstehenden Messfehler weitestgehend eliminiert werden.
Hierzu zeigt Abb. 3a das 3D-Bild einer PMD-Kamera in Anwesenheit einer weiteren Kamera mit gleicher Modulationsfrequenz. Zu sehen ist ein deutlich verrauschteres und verzerrteres Bild aufgrund der überlagerten Lichtsignale als bei der zweiten Aufnahme in Abb. 3b. Hier wurde die zweite Kamera mit einer von der Ersten abweichende Modulationsfrequenz betrieben a)
b)
mit a) gleicher und b) abweichender Modulationsfrequenz Die zwei unterschiedlichen Kameragruppen werden im Zeitmultiplex betrieben. Dies geschieht durch Verwendung eines Softwaretriggers und führt zur Halbierung der maximal erreichbaren Bildrate der einzelnen Kameras. Das Umgebungsmodell wird jedoch für jede Aufnahme aktualisiert, sodass dieses mit einer Frequenz von 30Hz aktualisiert wird. Um die Kameradaten zur Überwachung und Steuerung des Roboters zu nutzen, müssen alle 3D-Daten in ein gemeinsames Koordinatensystem transformiert werden. In diesem werden die Daten in eine gemeinsame Umweltrepräsentation überführt, an der später die Erkennung von Personen durchgeführt wird. Als gemeinsames Koordinatensystem bietet sich das Roboterkoordinatensystem an. Hierzu müssen zwei verschiedene Kalibrierverfahren entwickelt werden, die Kalibrierung zwischen Kamera- und Kamerakoordinatensystem, sowie die Kalibrierung zwischen Kamera- und Roboterkoordinatensystem.
Zur Kalibrierung der Kameras untereinander wird ein Kalibrierkörper, wie in Abb. 4a dargestellt, verwendet. Dieser wird von je zwei Kameras detektiert und die Position und Orientierung im jeweiligen Kamerakoordinatensystem berechnet.
Abb. 4: Versuchsaufbau zur a) Kamera-Kamera Kalibrierung und b) Kamera-Roboter Kalibrierung (1) Über Gl.(1) kann auf die Transformationsmatrix zwischen den beiden Kameras geschlossen werden. Dieser Vorgang wird für alle anderen Kameras wiederholt bis alle Transformationsmatrizen zwischen den Kameras bestimmt sind. Zur Transformation der Kameradaten in das Roboterkoordinatensystem wird anschließend eine RoboterKamerakalibrierung durchgeführt, wie in Abb. 4b dargestellt. Hierzu wird die höher auflösende CamCube verwendet. Diese gewährleistet eine genauere Bestimmung der Roboterposition. Zur Berechnung der Kalibriermatrix fährt der Roboter eine fest definierte Trajektorie ab. Hierbei wird die Roboterposition kontinuierlich aus den Kameradaten ermittelt und anschließend durch Abgleich der mit der Kamera gemessenen Daten und der dem Roboter vorgegebenen Positionen eine Transformationsmatrix berechnet. Für detailliertere Informationen über das Kalibrierverfahren sei auf [2] und [3] verwiesen. 4
Dieser Beitrag stellt den Aufbau eines Multi-PMD-Kamerasystems zur Überwachung eines Operationssaals in der roboterassistierenden Chirurgie vor. Es werden Verfahren zum störungsfreien Betrieb und zur Synchronisierung mehrerer PMD-Kameras, sowie die Positionierung der Kameras im Operationssaal erläutert. Des Weiteren wird auf verschiedene Kalibrierverfahren, um die 3D-Daten der einzelnen Kameras in ein geeignetes Koordinatensystem zu transformieren, indem diese in einer einheitlichen Darstellungen fusioniert und dem Robotersystem zur Verfügung gestellt werden können, eingegangen.
Das auf diese Art aufgebaute und kalibrierte Kamerasystem ermöglicht die Aufnahme einer vollständigen 3D Umgebungsrepräsentation des Operationsraums, welche mit einer Framerate bis zu 30fps aktualisiert werden kann und bietet somit die Basis zur Überwachung und Steuerung eines Chirurgieroboters. Dies stellt einen Beitrag dar, um zukünftig die Kooperation zwischen Mensch und Roboter im Operationssaal sicherer zu gestalten. 5 Diese Arbeit wurde finanziert durch das siebte Rahmenprogramm der Europäischen Kommission innerhalb des Projekts SAFROS – Patient Safety in Robotic Surgery“ unter Grant. Nr. 248960.