=Paper=
{{Paper
|id=Vol-1476/paper29
|storemode=property
|title=3D-Überwachung des OP-Saals - stören sich PMD-Kameras, Trackingsysteme und Spielkonsolenzubehör?
|pdfUrl=https://ceur-ws.org/Vol-1476/Proceedings_CURAC_2011_Paper_29.pdf
|volume=Vol-1476
|dblpUrl=https://dblp.org/rec/conf/curac/NicolaiMRW11
}}
==3D-Überwachung des OP-Saals - stören sich PMD-Kameras, Trackingsysteme und Spielkonsolenzubehör?==
https://ceur-ws.org/Vol-1476/Proceedings_CURAC_2011_Paper_29.pdf
10. CURAC-Jahrestagung, 15. - 16. September 2011, Magdeburg
3D-Überwachung des OP-Saals - stören sich PMD-Kameras,
Trackingsysteme und Spielkonsolenzubehör?
P. Nicolai¹, H. Mönnich¹, J. Raczkowsky¹, H. Wörn¹
¹ Karlsruher Institut für Technologie, Institut für Prozessrechentechnik, Automation und Robotik, Karlsruhe, Germany
Kontakt: philip.nicolai@kit.edu
Abstract:
Für verschiedene heutige und künftige Aufgaben im Operationssaal können 3D-Kameras nützliche Ergänzungen dar-
stellen oder neue Möglichkeiten eröffnen. Neben klassischen Time-of-Flight Kameras erfreut sich derzeit vor allem die
Microsoft Kinect wachsender Beliebtheit – trotz ihrer Vermarktung als Spielkonsolenzubehör. Da die Mehrzahl der 3D-
Kameras ebenso wie markerbasierte Trackingsysteme mit aktiver Aussendung von Licht im Infrarotbereich arbeitet,
besteht die Gefahr, dass diese sich bei simultaner Verwendung ohne aufwendige Synchronisierung gegenseitig stören.
Anhand dreier Kameramodelle und eines Trackingsystems wird dieser Sachverhalt untersucht und aufgezeigt, welche
Kombinationen ohne entsprechende Mechanismen keine nennenswerten Beeinflussungen aufweisen und zwischen wel-
chen Komponenten eine Synchronisierung notwendig ist.
Schlüsselworte: 3D-Kamera, Kinect, Überwachungssystem, Operationssaal, Evaluation
1 Problem
Diverse Projekte in Deutschland, Europa und auf der ganzen Welt wie MiroSurge [1] oder SOFIE [2] beschäftigen sich
mit dem Entwurf und der Konstruktion von Robotersystemen für den Einsatz im Operationssaal. Diese sind – neben an-
deren Vorzügen – in der Regel sehr klein und leicht und eröffnen damit neue Möglichkeiten für die roboterassistierte
Chirurgie: denkbar wäre beispielsweise ein kooperatives Arbeiten von Chirurg und Roboter im selben Arbeitsraum. In
einem solchen Szenario wird allerdings eine konstante Überwachung des Arbeitsraumes benötigt, um unerwünschte Er-
eignisse wie Kollisionen zwischen Roboter und Chirurg auszuschließen und somit die Sicherheit des Chirurgen und des
Patienten zu garantieren. Ein derartiges Überwachungssystem wird beispielsweise im Rahmen des EU-Projekts
SAFROS aufgebaut [3].
Unabhängig vom Einsatz von Robotern werden bereits heute Computer zu verschiedensten Zwecken im Operationssaal
eingesetzt. Deren Bedienung z.B. zur Anzeige und Untersuchung von CT-Aufnahmen ist aber häufig umständlich, da der
Chirurg hierfür entweder den sterilen OP-Bereich verlassen oder die gewünschten Aktionen mündlich einem Assistenten
zur Ausführung mitteilen muss. Abhilfe schaffen könnte hierbei der Einsatz von Gestenerkennung, mit deren Hilfe der
Chirurg auch innerhalb des sterilen Bereichs mittels Handbewegungen z.B. durch einen CT-Datensatz navigieren kann.
Diese Technik wurde in einem kanadischen Krankenhaus bereits in mehreren Operationen erfolgreich getestet, zum Ein-
satz kam hierbei eine Microsoft Kinect 3D-Kamera [4].
Die soeben beschriebenen Szenarien sind aus medizinischer Sicht inhaltlich zunächst nicht notwendigerweise verwandt,
gemeinsam ist ihnen jedoch der Einsatz von 3D-Kameratechnik im Operationssaal. Hierbei ist zu beachten, dass kom-
merziell verfügbare 3D-Kameras derzeit aber fast ausschließlich auf aktiven Messverfahren basieren, die das Aussenden
von Infrarotlicht beinhalten. Da auch markerbasierte Trackingsysteme mit Infrarotlicht arbeiten, die bereits im OP-Saal
Anwendung finden, ist eine gegenseitige Störung und damit einhergehende Verringerung der Genauigkeit der einzelnen
Systeme zu befürchten. Gerade in kritischen Bereichen wie dem medizinischen Einsatz muss jedoch gewährleistet sein,
dass die eingesetzten Komponenten sich nicht gegenseitig beeinflussen.
Diese Arbeit untersucht exemplarisch drei verschiedene 3D-Kameras sowie ein markerbasiertes Trackingsystem auf ge-
genseitige Beeinflussungen beim simultanen Einsatz. Der Fokus liegt nicht auf der absoluten Genauigkeit der Messun-
gen, sondern auf der Wiederholgenauigkeit bzw. dem Rauschen der Tiefenbilddaten. Hier ist im Gegensatz zu Abwei-
chungen der absoluten Genauigkeit keine „einfache“ Korrektur mit distanz- oder situationsabhängigen Korrekturwerten
möglich.
165
10. CURAC-Jahrestagung, 15. - 16. September 2011, Magdeburg
2 Methoden
Die hier untersuchten 3D-Kameras basieren auf verschiedenen Techniken zur Erfassung der räumlichen Informationen,
die im Folgenden kurz vorgestellt werden. Im Anschluss folgt eine Beschreibung des Testsetups, mit dem die Experi-
mente durchgeführt wurden. Tabelle 1 bietet zunächst eine Übersicht über die Spezifikationen und Modalitäten der 3D-
Kameras.
PMD[vision] S3 PMD[vision] CamCube 2.0 Microsoft Kinect
Auflösung 64 x 48 px 204 x 204 px 640 x 480 px
Blickwinkel 40° h, 30° v 40° h, 40° v 58° h, 45° v
Messverfahren Time of Flight Time of Flight LightCoding
Infrarotsignal getriggert getriggert konstant
Wellenlänge 850 nm 870 nm nicht verfügbar
Ausgabe 3D-Daten 3D-Daten, Grauwertbild 3D-Daten, Farbbild, Audiodaten
Anschluss Ethernet USB USB
Tabelle 1: Spezifikationen der untersuchten 3D-Kameras
2.1 Time-of-Flight-Kameras
Die Kameras der Firma PMDTec, die PMD[vision] S3 und PMD[vision] CamCube 2.0, verwenden zur Erfassung des
Tiefenbildes das klassische Time-of-Flight-Verfahren. Sie senden kurze Lichtblitze im Infrarotbereich aus und messen
die Laufzeit des Lichtes, also die Zeit, bis der ausgesandte Lichtblitz nach einer Reflektion wieder die Kamera erreicht.
Aus der gemessenen Laufzeit kann mit sehr geringem rechnerischen Aufwand die Entfernung des reflektierenden Objek-
tes zur Kamera errechnet werden. Um eine theoretische Genauigkeit im Millimeterbereich erreichen zu können sind
hierbei allerdings extrem kurze Schaltzeiten von wenigen Picosekunden erforderlich, die nur von speziell für diesen
Zweck entwickelten Kamerachips erreicht werden. Zur Erhöhung der Genauigkeit werden in der Regel mehrere Mes-
sungen mit verschiedenen Integrationszeiten durchgeführt und zu einem einzigen Messergebnis kombiniert. Die Kame-
ras können in drei verschiedenen, fest vorgegebenen Frequenzen betrieben werden.
2.2 Microsoft Kinect
Die Microsoft Kinect basiert auf einer von der israelischen Firma PrimeSense entwickelten Technik namens
LightCoding. Ein IR-Laser projiziert dauerhaft ein festes Muster in die zu erfassende Szene. Die mit diesem Muster be-
leuchtete Szene wird von einem herkömmlichen CMOS-Chip mit IR-Passfilter aufgenommen, der sich im Kamerage-
häuse um einige Zentimeter vom Laser entfernt befindet. Somit liegen Aufnahmen der Szene im IR-Bereich aus zwei
Perspektiven vor, aus denen durch klassische Triangulation ein Tiefenbild errechnet werden kann. Der im Vergleich zu
ToF-Kameras ungleich höhere Rechenaufwand schlägt sich in einer erhöhten Latenz von ca. 300 Millisekunden nieder.
Prinzip bedingt ist die Verwendung von Standard-Bauteilen möglich, so dass die Kameras zu sehr niedrigen Preisen
produziert werden können. Da die Microsoft Kinect in erster Linie als Spielekonsolenzubehör an Privatanwender ver-
marktet wird sind die Zugriffmöglichkeiten auf kamerainterne Parameter allerdings stark eingeschränkt. Im Rahmen der
Open Natural Interaction-Initiative steht seit dem Spätjahr 2010 ein Framework mit Treiber für den Anschluss und die
Steuerung der Microsoft Kinect am PC bereit [5]. Aufgrund der großen Resonanz außerhalb der originären Nutzung an
einer Spielekonsole, insbesondere im Bereich Forschung und Kunst, veröffentlichte Microsoft im Juni 2011 die erste
Version eines offiziellen Software Development Kits zur nicht-kommerziellen Nutzung.
2.3 Markerbasiertes Trackingsystem
Als markerbasiertes Trackingsystem kommt das ARTtrack2-System der ART GmbH mit sechs Kameras zum Einsatz.
Diese erleuchten die Szene jeweils mit kurzen Infrarotblitzen (Wellenlänge 880 nm), nehmen ein Bild im infraroten Be-
reich auf und segmentieren darin die hochreflektiven Markerkugeln. Aus diesen zweidimensionalen, segmentierten Bil-
dern können mittels der bekannten Kamerakalibrierung und der bekannten räumlichen Anordnung der Kameras die Posi-
tionen der Marker berechnet werden. Die Funktionsweise entspricht aus dem Operationssaal bekannten Trackingsyste-
men (z.B. NDI Polaris). Der Vorteil des ARTtrack2-Systems liegt in der höheren Anzahl an Kameras, die das System
genauer und weniger anfällig für Verdeckungen macht sowie ein deutlich vergrößertes Arbeitsvolumen abdecken kann.
166
10. CURAC-Jahrestagung, 15. - 16. September 2011, Magdeburg
2.4 Experimente
Zur Untersuchung gegenseitiger Beeinflussungen wurde ein Teststand aufgebaut, der je eine 3D-Kamera jeder Bauart
unterhalb des vorhandenen, deckenmontierten ART-Systems enthielt (siehe Abb. 1). Alle Kameras waren auf ein planes
Testobjekt gerichtet, das per Roboter bewegt werden konnte. Zur präzisen Bestimmung der Position des Testobjekts kam
ein passiver FARO-Messarm zum Einsatz, der mechanisch mit dem Roboter gekoppelt wurde. Zusätzlich wurden die
Positionen der Ecken des Testobjekts über das ART-System erfasst, um eventuelle Verwindungen berücksichtigen zu
können. In dieser (im Rahmen der hier behandelten Tests festen) Konfiguration wurden für jede Messung 100 aufeinan-
derfolgende Frames aus jeder aktiven Kamera aufgezeichnet. Diese Messwerte bilden die Grundlagen für die im folgen-
den Abschnitt dargestellten Auswertungen.
Abb. 1: links: Testaufbau mit PMD[vision] CamCube im Vordergrund, rechts: Positionierung des Testobjekts
mittels Roboter und Positionsaufzeichnung durch passiven FARO-Messarm
Getestet wurde das Zusammenspiel verschiedener Kameras unterschiedlicher und gleicher Bauart. Folgende Punkte wa-
ren hierbei von besonderem Interesse, da anhand der technischen Daten gegenseitige Beeinflussungen nahe liegen:
Stört das ARTtrack2-System die PMD[vision] CamCube, da die Wellenlängen nur 10 nm auseinanderliegen?
Beeinflussen sich die ToF-Kameras untereinander?
Stören sich mehrere Kinect-Kameras, da die projizierten Punktmuster nicht eindeutig zugeordnet werden können?
3 Ergebnisse
Aufgrund der Vielzahl der getesteten Kombinationen sollen hier nur einige Ergebnisse exemplarisch genannt werden.
Sämtliche im Folgenden genannten Werte beruhen auf der Auswertung des jeweils mittigen Kamerapixels und wurden
über alle 100 Aufnahmen der jeweiligen Messreihe berechnet.
Überraschenderweise beeinflusst der unsynchronisierte Betrieb des ARTtrack2-Systems parallel zur PMD[vision]
CamCube deren Wiederholgenauigkeit nur minimal: die Standardabweichung der Entfernung verringerte sich in den
Messungen beim Hinzuschalten des Trackingsystems von 3.2 mm auf 2.8 mm. Die Messwerte weisen weiterhin keine
signifikanten periodischen Schwankungen oder Ausreiser auf, wie sie evtl. aufgrund der unterschiedlichen Frequenzen
des ARTtrack2-Systems und der PMD[vision] CamCube zu erwarten gewesen wären (siehe Abb. 2).
Auch der Betrieb verschiedener ToF-Kameras ergab keine unbekannten Probleme. Wie in früheren Arbeiten gemessen
[6] stören sich mehrere PMD[vision] S3 beim Betrieb mit gleicher Frequenz massiv: die Standardabweichung liegt bei
19.4 mm im Vergleich zu 2.1 mm bei Einzelbetrieb – ein Anstieg um den Faktor zehn. Werden die PMD[vision] S3 je-
doch mit Frequenzmultiplexing und (bei der Verwendung von mehr als drei Kameras) zusätzlich mit Zeitmultiplexing
betrieben, so ergibt sich für die Standardabweichung ein Wert von 1.6 mm, vergleichbar mit dem Einzelbetrieb. Eine ge-
genseitige Beeinflussung der PMD[vision] CamCube und der PMD[vision] S3 konnte nicht festgestellt werden.
167
10. CURAC-Jahrestagung, 15. - 16. September 2011, Magdeburg
Abb. 2: links: CamCube ohne ARTtrack2, rechts: CamCube mit aktivem ARTtrack2; x-Achsen: Abweichung vom Mit-
telwert in mm, y-Achsen: Einzelbilder innerhalb der Messreihe; durchgezogene Linie jeweils „korrekte“ Distanz
Bei der simultanen Nutzung zweier Kinect im Abstand von ca. 30 cm, die auf dieselbe Fläche gerichtet sind, wäre je
nach gewählter Implementierung eine starke Beeinflussung plausibel. Diese tritt jedoch in engen Grenzen erst ein, wenn
die zweite Kinect in Relation zur ersten im Raum bewegt wird (Rotation, Translation): hierbei steigt die Standardabwei-
chung von 1.4 mm auf 2.0 mm. Dies lässt sich anhand des projizierten Musters erklären, das in seiner konkreten Aus-
prägung globale und lokale Informationen kodiert. Anhand dieser Merkmale lassen sich Überlagerungen durch eine
zweite Kinect anscheinend sehr effektiv als fremde Störquelle verwerfen. Einschränkend muss jedoch erwähnt werden,
dass die im Test vorliegende frontale Ausrichtung der Kinect auf eine ebene Fläche ideale Bedingungen für das
LightCoding-Verfahren darstellt.
4 Diskussion
Die hier vorgestellten Ergebnisse zeigen, dass der Betrieb mehrerer 3D-Kameras und des ARTtrack2-Systems bei ver-
gleichbarer Wiederholgenauigkeit ohne weitere Maßnahmen möglich ist. Mit Ausnahme der PMD[vision] S3 Kameras
untereinander kann damit auf aufwendige Synchronisierung, Abschirmung oder ähnliche Maßnahmen verzichtet werden.
Dies ermöglicht in Bezug auf die getesteten Komponenten ein modulares Konzept für die Überwachung des Operations-
saals: je nach Bedarf können verschiedene Kamerasysteme kombiniert werden.
So könnte beispielsweise bei einer Operation, für die die Nutzung von prä- oder intraoperativ aufgenommenen Bilddaten
von Bedeutung ist, eine Microsoft Kinect zur Gestensteuerung eingesetzt werden. Bei einer anderen, roboterassistierten
Operation würde dagegen ein System aus ToF-Kameras zur Freiraumüberwachung verwendet, bei einer dritten Operati-
on ließen sich beide kombinieren.
Diese Arbeit wurde finanziert durch das siebte Rahmenprogramm der Europäischen Kommission innerhalb des Projekts
„SAFROS – Patient Safety in Robotic Surgery“ unter Grant. Nr. 248960.
5 Referenzen
[1] U. Hagn, R. Konietschke, A. Tobergte, M. Nickl, S. Jörg, B. Kübler, G. Passig, M. Gröger, F. Fröhlich, U. Sei-
bold, L. Le-Tien, A. Albu-Schäffer, A. Nothhelfer, F. Hacker, M. Grebenstein, G. Hirzinger, DLR MiroSurge: a
versatile system for research in endoscopic telesurgery, International Journal of Computer Assisted Radiology
and Surgery, Springer Berlin / Heidelberg, 2009.
[2] L.J.M. van den Bedem, Realization of a demonstrator slave for robotic minimally invasive surgery, Technische
Universiteit Eindhoven, 2010.
168
10. CURAC-Jahrestagung, 15. - 16. September 2011, Magdeburg
[3] P. Nicolai, H. Mönnich, J. Raczkowsky, H. Wörn, J. Bernshausen, Überwachung eines Operationssaals für die
kooperative robotergestützte Chirurgie mittels neuartiger Tiefenbildkameras, Tagungsband der 9. Jahrestagung
der Deutschen Gesellschaft für Computer- und Roboterassistierte Chirurgie, Der andere Verlag, 2010.
[4] N. Chung-Sayers, Team uses Xbox Kinect to see Patient Images during Surgery (Presse-Mitteilung), Sunny-
brook Health Science Centre, 2011. Abgerufen am 04.05.2011 von http://sunnybrook.ca/uploads/N110314.pdf
[5] Open Natural Interaction, www.openni.org, abgerufen am 03.05.2011
[6] J. Bernshausen, J. Wahrburg, P. Nicolai, H. Mönnich, PMD-Kameratechnik als Teil eines Sicherheitskonzepts
für robotergestützte Operationen, Tagungsband der 9. Jahrestagung der Deutschen Gesellschaft für Computer-
und Roboterassistierte Chirurgie, Der andere Verlag, 2010.
169