=Paper=
{{Paper
|id=Vol-1475/paper39
|storemode=property
|title=PMD-Kameratechnik als Teil eines Sicherheitskonzept für roboterunterstützte Operationen
|pdfUrl=https://ceur-ws.org/Vol-1475/Proceedings_CURAC_2010_Paper_39.pdf
|volume=Vol-1475
|dblpUrl=https://dblp.org/rec/conf/curac/BernshausenWNM10
}}
==PMD-Kameratechnik als Teil eines Sicherheitskonzept für roboterunterstützte Operationen==
https://ceur-ws.org/Vol-1475/Proceedings_CURAC_2010_Paper_39.pdf
PMD-Kameratechnik als Teil eines Sicherheitskonzept für
roboterunterstützte Operationen
J. Bernshausen¹, J.Wahrburg¹, P.Nicolai², H.Mönnich²
¹ Universität Siegen, Zentrum für Sensortechnik (ZESS), Siegen, Germany
² Karlsruher Institut für Technologie, Institut für Prozessrechentechnik, Automation und Robotik, Karlsruhe, Germany
Kontakt: modicas@zess.uni-siegen.de
Abstract:
Dieser Beitrag beschäftigt sich mit dem Aufbau eines Mehrkamerasystems bestehend aus 3D-PMD Kameras zur Über-
wachung eines Operationssaals in der roboterunterstützten Chirurgie. Der Einsatz mehrerer PMD-Kameras ermöglicht
eine schnelle und robuste Positionserkennung aller sich im Raum befindlichen Personen sowie die Erkennung des Ro-
botersystems. Auf diese Weise ist es möglich Sicherheitskonzepte zur kollisionsfreien und gefahrlosen Benutzung eines
Robotersystems im Operationsumfeld zu entwickeln. Im Folgenden werden der Aufbau und die Kalibrierung des PMD-
Kamerasystems vorgestellt.
Schlüsselworte: PMD-Technik, 3D-Kamera, Überwachung, Operationssaal, Sicherheitskonzept, Robotik
1 Problem
Mit dem Einsatz von Robotern bei chirurgischen Eingriffen ist die Erwartung verknüpft die Qualität der Operation zu
erhöhen und somit zu einer Verbesserung der Sicherheit des Patienten beitragen zu können. Für den sicheren Einsatz ei-
nes Roboters selbst ist es jedoch notwendig seine Umwelt, in diesem Fall den Operationssaal, zu erfassen, zu modellie-
ren und dieses Modell dem Roboter bzw. einer übergeordneten Planungseinheit zur Verfügung zu stellen. Auf diese Wei-
se können eventuelle Kollisionen des Roboters mit seiner Umwelt, speziell mit Gegenständen und Personen im Bereich
des OP-Tisches, erkannt und vermieden werden. Dies trägt wesentlich zum gefahrlosen Umgang mit einem
Chirurgieroboter bei. Zur Umgebungserfassung muss ein Sensorsystem aufgebaut werden, welches die Möglichkeit einer
dreidimensionalen Datenaufnahme bietet. Verschiedene bildgebende Sensoren sind hierfür vorstellbar. Laserscanner,
Stereo-Visionsysteme und auch die neueren auf dem „Time-of-Flight“-Prinzip basierenden PMD-Kameras [1] bieten
diese Möglichkeit. Im Vergleich der aufgeführten Sensoren bietet die PMD-Kamera bezüglich Geschwindigkeit und Ge-
nauigkeit bei der 3D Datenaufnahme, sowie dessen Baugröße und Preis die am besten geeignete Alternative zur Umge-
bungserfassung. Problematisch bei der Verwendung eines 3D Erfassungssystems sind Überschattungen zwischen den
verschiedenen Objekten beziehungsweise den in dem Operationssaal befindlichen Personen. Dies führt in der Regel zu
Fehlinterpretationen in der aufgenommenen 3D-Szene und kann im Nichterkennen von Personen beziehungsweise in
einer Fehlberechnung ihrer Positionen resultieren. Aus dieser Überlegung heraus ist die Verwendung von mehreren Ka-
meras notwendig, welche im Raum so verteilt werden müssen, dass eine lückenlose Überwachung möglich ist und die
Möglichkeit von Überschattungen weitestgehend ausgeschlossen werden kann. Hierzu muss eine geeignete Positionie-
rung der Kameras im Operationsraum gefunden werden. Des Weiteren müssen die Kameras synchronisiert werden und
gegenseitige Beeinflussungen der PMD-Kameras müssen verhindert werden. Im Folgenden soll zunächst auf die Funkti-
onsweise und Eigenschaften einer PMD-Kamera eingegangen werden, bevor die beim Aufbau eines PMD-
Kamerasystems entstehenden Probleme behandelt werden und dessen Aufbau vorgestellt wird.
2 Methoden
2.1 Einführung in die PMD-Technik
Wie bereits erwähnt basiert die PMD-Technik auf einem „Time-of-Flight“-Messverfahren. Die Entfernung wird folglich
durch die Bestimmung der Lichtlaufzeit ermittelt. Hierzu besitzt die Kamera ein Beleuchtungsmodul, welches Licht im
Proceedings curac2010@MEDICA 199
infraroten Spektralbereich emittiert. Dieses Licht wird mit einer Frequenz von ungefähr fmod = 20MHz periodisch modu-
liert. Das von der Kameraumgebung reflektierte Lichtsignal gelangt anschließend durch eine Optik auf den PMD-Chip.
Dort wird innerhalb von jedem Pixel, durch ein Verfahren ähnlich einem Mischprozess, die Phasenverschiebung zwi-
schen dem ausgesendeten Licht als Referenzsignal und dem einfallenden reflektierten Licht bestimmt. Über die Phasen-
verschiebung kann für jedes Pixel ein Entfernungswert berechnet werden. Jedes Pixel besitzt zudem eine Schaltung zur
Unterdrückung des Hintergrundlichts. Dies gewährleistet einen Betrieb ohne Überbelichtung der einzelnen Pixel auch
bei starkem Fremdlicht, wie dies der Fall in Operationsräumen sein kann. Des Weiteren kann die Beleuchtungszeit der
Kamera frei gewählt werden. Für normale Reflektivität der Kameraumgebung liegt diese zwischen 0,8ms und 2ms. Das
Messrauschen der PMD-Kamera ist abhängig von der Reflektivität und der Entfernung des aufgenommenen Objekts,
also der Menge und Intensität des reflektierten Lichtsignals, welches während der Belichtungszeit von dem Sensor emp-
fangen wird. Für Objekte mit guter Reflektivität und einer Entfernung unterhalb von 4m können Messwerte mit einer
Genauigkeit von unter 5mm erreicht werden.
Großer Vorteil des PMD-Prinzips ist, dass bei jeder 3D-Bildaufnahme ebenfalls ein 2D-Grauwertbild aufgenommen
wird. Auf diese Weise kann die 3D-Szene mit einer Textur belegt werden, welches eine umfangreiche Bildverarbeitung
ermöglicht.
a) b)
Abb. 1: PMD-Kameras a) CamCube 2.0 [1] mit einer Auflösung von 204x204 Pixeln mit zwei externen seitlich ange-
brachten Beleuchtungmodulen b) PMDVision S3 mit 64x48 Pixeln mit einem integrierten Beleuchtungsmodul
Zurzeit sind verschiedene Modelle von PMD-Kameras der Firma PMDTec erhältlich, vergl. Abb. 1, welche sich durch
deren Bauform, Auflösung und Preis unterscheiden. Es gibt ein Modell mit einer lateralen Auflösung von 64x48 Pixeln
und eine höher auflösende Kamera mit 204x204 Pixeln.
2.2 Installation des Kamerasystems im Operationssaal
Um eine möglichst vollständige Abdeckung des Operationssaals zu erhalten, wird eine Konfiguration mit 6 Kameras
vorgeschlagen. Diese sind wie auf Abb.2 skizziert in dem etwa 5x5m großen Raum angebracht. Die Anordnung der Ka-
meras in den oberen Raumecken mit Blickrichtung in das Raumzentrum führt zu einer Minimierung möglicher Überde-
ckung zwischen Objekten oder Operationspersonal. Dazu kommen zwei weitere an der Decke oberhalb des Operations-
tisches angebrachte PMD-Kameras. Dies ermöglicht eine präzisere Überwachung des relevanten Gebiets. Mögliche
Verdeckungen des relevanten Gebietes durch bewegliche Operationslampen werden durch eine optimierte Positionie-
rung der Kameras größtenteils verhindert. In einem weiteren Schritt könnten die Kameras zur völligen Vermeidung der
Überschattungen durch Operationslampen beispielsweise in diese integriert werden.
Abb. 2: Installation des PMD-Kamerasystems
200 Proceedings curac2010@MEDICA
Für das Mehrkamerasystem kommen insgesamt fünf PMDVision S3 und eine CamCube 2.0 zum Einsatz. Die hochauflö-
sende CamCube wird oberhalb des Roboters befestigt. Dies ermöglicht neben einer präziseren Überwachung des rele-
vanten Gebiets zusätzlich Vorteile bei der späteren Kalibrierung des Kamerasystems.
Bei der Verwendung mehrerer PMD-Kameras müssen prinzipbedingte Phänomene beachtet werden. Das „Time-of-
Flight“-Verfahren mit interner Beleuchtung führt zur Überlagerung der Lichtsignale unterschiedlicher Kameras, auf-
grund dessen die gemessenen Entfernungswerte verfälscht werden. Nach [1] kann dies jedoch durch die Verwendung
unterschiedlicher Modulationsfrequenzen vermieden werden. Das Licht von Kameras mit anderer Modulationsfrequenz
als der eigenen wird von einer Kamera bei einer Beleuchtungszeit von mehrfacher Länge der Periodendauer des Licht-
signals als Fremdlicht wahrgenommen und trägt nicht mehr zur Verfälschung der Entfernungsmessung bei. Der Herstel-
ler bietet die Möglichkeit insgesamt drei unterschiedliche Modulationsfrequenzen einzustellen. Da allerdings sechs Ka-
meras betrieben werden sollen, werden zwei Kameragruppen mit je drei Kameras gebildet, welche jeweils mit einer an-
deren Frequenz betrieben werden. Die zwei unterschiedlichen Gruppen werden im Zeitmultiplexbetrieb angesteuert.
Dies bedeutet, dass die Bilder der Gruppen zu unterschiedlichen Zeitpunkten aufgenommen werden. Vorteil dieses zeit-
versetzten Aufnehmens ist zudem eine Reduzierung der Szenenbeleuchtung. Hierdurch kann eine Überbelichtung von
PMD-Pixeln vermieden werden.
Zur Verwendung der aufgenommenen einzelnen 3D-Bilddaten für die Steuerung des Chirurgieroboters müssen diese zu
einer Umweltrepräsentation zusammen gefügt werden. Dies geschieht durch verschiedene entwickelte Kalibrierverfah-
ren, auf welche im nächsten Abschnitt näher eingegangen wird.
3 Ergebnisse
Durch die Verwendung unterschiedlicher Modulationsfrequenzen können die entstehenden Messfehler weitestgehend
eliminiert werden.
Hierzu zeigt Abb. 3a das 3D-Bild einer PMD-Kamera in Anwesenheit einer weiteren Kamera mit gleicher Modulations-
frequenz. Zu sehen ist ein deutlich verrauschteres und verzerrteres Bild aufgrund der überlagerten Lichtsignale als bei
der zweiten Aufnahme in Abb. 3b. Hier wurde die zweite Kamera mit einer von der Ersten abweichende Modulations-
frequenz betrieben
a) b)
Abb. 3: PMD-Aufnahme eines Kopfes auf einem Operationstisch mit zwei Kameras
mit a) gleicher und b) abweichender Modulationsfrequenz
Die zwei unterschiedlichen Kameragruppen werden im Zeitmultiplex betrieben. Dies geschieht durch Verwendung eines
Softwaretriggers und führt zur Halbierung der maximal erreichbaren Bildrate der einzelnen Kameras. Das Umgebungs-
modell wird jedoch für jede Aufnahme aktualisiert, sodass dieses mit einer Frequenz von 30Hz aktualisiert wird.
Um die Kameradaten zur Überwachung und Steuerung des Roboters zu nutzen, müssen alle 3D-Daten in ein gemeinsa-
mes Koordinatensystem transformiert werden. In diesem werden die Daten in eine gemeinsame Umweltrepräsentation
überführt, an der später die Erkennung von Personen durchgeführt wird. Als gemeinsames Koordinatensystem bietet sich
das Roboterkoordinatensystem an. Hierzu müssen zwei verschiedene Kalibrierverfahren entwickelt werden, die Kali-
brierung zwischen Kamera- und Kamerakoordinatensystem, sowie die Kalibrierung zwischen Kamera- und Roboterko-
ordinatensystem.
Zur Kalibrierung der Kameras untereinander wird ein Kalibrierkörper, wie in Abb. 4a dargestellt, verwendet. Dieser
wird von je zwei Kameras detektiert und die Position und Orientierung im jeweiligen Kamerakoordinatensystem be-
rechnet.
Proceedings curac2010@MEDICA 201
a) b)
Kalibrierkörper
Abb. 4: Versuchsaufbau zur a) Kamera-Kamera Kalibrierung und b) Kamera-Roboter Kalibrierung
(1)
Über Gl.(1) kann auf die Transformationsmatrix zwischen den beiden Kameras geschlossen werden. Dieser Vorgang
wird für alle anderen Kameras wiederholt bis alle Transformationsmatrizen zwischen den Kameras bestimmt sind.
Zur Transformation der Kameradaten in das Roboterkoordinatensystem wird anschließend eine Roboter-
Kamerakalibrierung durchgeführt, wie in Abb. 4b dargestellt. Hierzu wird die höher auflösende CamCube verwendet.
Diese gewährleistet eine genauere Bestimmung der Roboterposition. Zur Berechnung der Kalibriermatrix fährt der Ro-
boter eine fest definierte Trajektorie ab. Hierbei wird die Roboterposition kontinuierlich aus den Kameradaten ermittelt
und anschließend durch Abgleich der mit der Kamera gemessenen Daten und der dem Roboter vorgegebenen Positionen
eine Transformationsmatrix berechnet. Für detailliertere Informationen über das Kalibrierverfahren sei auf [2] und [3]
verwiesen.
4 Diskussion
Dieser Beitrag stellt den Aufbau eines Multi-PMD-Kamerasystems zur Überwachung eines Operationssaals in der robo-
terassistierenden Chirurgie vor. Es werden Verfahren zum störungsfreien Betrieb und zur Synchronisierung mehrerer
PMD-Kameras, sowie die Positionierung der Kameras im Operationssaal erläutert. Des Weiteren wird auf verschiedene
Kalibrierverfahren, um die 3D-Daten der einzelnen Kameras in ein geeignetes Koordinatensystem zu transformieren,
indem diese in einer einheitlichen Darstellungen fusioniert und dem Robotersystem zur Verfügung gestellt werden kön-
nen, eingegangen.
Das auf diese Art aufgebaute und kalibrierte Kamerasystem ermöglicht die Aufnahme einer vollständigen 3D Umge-
bungsrepräsentation des Operationsraums, welche mit einer Framerate bis zu 30fps aktualisiert werden kann und bietet
somit die Basis zur Überwachung und Steuerung eines Chirurgieroboters. Dies stellt einen Beitrag dar, um zukünftig die
Kooperation zwischen Mensch und Roboter im Operationssaal sicherer zu gestalten.
5 Referenzen
[1] Thorsten Ringbeck, A 3D Time of Flight Camera for Object Detection, Optical 3-D Measurement Techniques
09-12.07.2007 ETH Zürich, Plenary Session 1: Range Imaging I, 2007
[2] Jens Bernshausen, Jürgen Wahrburg, Hubert Roth, Application of A Novel 3D PMD-Camera to Monitor the
Workspace of an Industrial Robot; Robot Vision: New Research, Taisho Matsuda, pp. 3-11, Nova Publishers,
New York 2009
[3] Jens Bernshausen, Jürgen Wahrburg, Hubert Roth, Obstacle Recognition in the Workspace of an Industrial Ro-
bot by a 3D-PMD-Camera, European Control Conference, Budapest 2009
Diese Arbeit wurde finanziert durch das siebte Rahmenprogramm der Europäischen Kommission innerhalb des Projekts
SAFROS – Patient Safety in Robotic Surgery“ unter Grant. Nr. 248960.
202 Proceedings curac2010@MEDICA