Für verschiedene heutige und künftige Aufgaben im Operationssaal können 3D-Kameras nützliche Ergänzungen darstellen oder neue Möglichkeiten eröffnen. Neben klassischen Time-of-Flight Kameras erfreut sich derzeit vor allem die Microsoft Kinect wachsender Beliebtheit - trotz ihrer Vermarktung als Spielkonsolenzubehör. Da die Mehrzahl der 3DKameras ebenso wie markerbasierte Trackingsysteme mit aktiver Aussendung von Licht im Infrarotbereich arbeitet, besteht die Gefahr, dass diese sich bei simultaner Verwendung ohne aufwendige Synchronisierung gegenseitig stören. Anhand dreier Kameramodelle und eines Trackingsystems wird dieser Sachverhalt untersucht und aufgezeigt, welche Kombinationen ohne entsprechende Mechanismen keine nennenswerten Beeinflussungen aufweisen und zwischen welchen Komponenten eine Synchronisierung notwendig ist.
Diese Arbeit untersucht exemplarisch drei verschiedene 3D-Kameras sowie ein markerbasiertes Trackingsystem auf gegenseitige Beeinflussungen beim simultanen Einsatz. Der Fokus liegt nicht auf der absoluten Genauigkeit der Messungen, sondern auf der Wiederholgenauigkeit bzw. dem Rauschen der Tiefenbilddaten. Hier ist im Gegensatz zu Abweichungen der absoluten Genauigkeit keine „einfache“ Korrektur mit distanz- oder situationsabhängigen Korrekturwerten möglich. 2
Die hier untersuchten 3D-Kameras basieren auf verschiedenen Techniken zur Erfassung der räumlichen Informationen, die im Folgenden kurz vorgestellt werden. Im Anschluss folgt eine Beschreibung des Testsetups, mit dem die Experimente durchgeführt wurden. Tabelle 1 bietet zunächst eine Übersicht über die Spezifikationen und Modalitäten der 3DKameras.
64 x 48 px 40° h, 30° v Time of Flight getriggert 850 nm 3D-Daten Ethernet
204 x 204 px 40° h, 40° v Time of Flight getriggert 870 nm 3D-Daten, Grauwertbild USB
640 x 480 px 58° h, 45° v LightCoding
konstant nicht verfügbar 3D-Daten, Farbbild, Audiodaten
USB
Tabelle 1: Spezifikationen der untersuchten 3D-Kameras
Die Kameras der Firma PMDTec, die PMD[vision] S3 und PMD[vision] CamCube 2.0, verwenden zur Erfassung des Tiefenbildes das klassische Time-of-Flight-Verfahren. Sie senden kurze Lichtblitze im Infrarotbereich aus und messen die Laufzeit des Lichtes, also die Zeit, bis der ausgesandte Lichtblitz nach einer Reflektion wieder die Kamera erreicht. Aus der gemessenen Laufzeit kann mit sehr geringem rechnerischen Aufwand die Entfernung des reflektierenden Objektes zur Kamera errechnet werden. Um eine theoretische Genauigkeit im Millimeterbereich erreichen zu können sind hierbei allerdings extrem kurze Schaltzeiten von wenigen Picosekunden erforderlich, die nur von speziell für diesen Zweck entwickelten Kamerachips erreicht werden. Zur Erhöhung der Genauigkeit werden in der Regel mehrere Messungen mit verschiedenen Integrationszeiten durchgeführt und zu einem einzigen Messergebnis kombiniert. Die Kameras können in drei verschiedenen, fest vorgegebenen Frequenzen betrieben werden.
Die Microsoft Kinect basiert auf einer von der israelischen Firma PrimeSense entwickelten Technik namens
LightCoding. Ein IR-Laser projiziert dauerhaft ein festes Muster in die zu erfassende Szene. Die mit diesem Muster
beleuchtete Szene wird von einem herkömmlichen CMOS-Chip mit IR-Passfilter aufgenommen, der sich im
Kameragehäuse um einige Zentimeter vom Laser entfernt befindet. Somit liegen Aufnahmen der Szene im IR-Bereich aus zwei
Perspektiven vor, aus denen durch klassische Triangulation ein Tiefenbild errechnet werden kann. Der im Vergleich zu
ToF-Kameras ungleich höhere Rechenaufwand schlägt sich in einer erhöhten Latenz von ca. 300 Millisekunden nieder.
Prinzip bedingt ist die Verwendung von Standard-Bauteilen möglich, so dass die Kameras zu sehr niedrigen Preisen
produziert werden können. Da die Microsoft Kinect in erster Linie als Spielekonsolenzubehör an Privatanwender
vermarktet wird sind die Zugriffmöglichkeiten auf kamerainterne Parameter allerdings stark eingeschränkt. Im Rahmen der
Open Natural Interaction-Initiative steht seit dem Spätjahr 2010 ein Framework mit Treiber für den Anschluss und die
Steuerung der Microsoft Kinect am PC bereit [5]. Aufgrund der großen Resonanz außerhalb der originären Nutzung an
einer Spielekonsole, insbesondere im Bereich Forschung und Kunst, veröffe
Als markerbasiertes Trackingsystem kommt das ARTtrack2-System der ART GmbH mit sechs Kameras zum Einsatz. Diese erleuchten die Szene jeweils mit kurzen Infrarotblitzen (Wellenlänge 880 nm), nehmen ein Bild im infraroten Bereich auf und segmentieren darin die hochreflektiven Markerkugeln. Aus diesen zweidimensionalen, segmentierten Bildern können mittels der bekannten Kamerakalibrierung und der bekannten räumlichen Anordnung der Kameras die Positionen der Marker berechnet werden. Die Funktionsweise entspricht aus dem Operationssaal bekannten Trackingsystemen (z.B. NDI Polaris). Der Vorteil des ARTtrack2-Systems liegt in der höheren Anzahl an Kameras, die das System genauer und weniger anfällig für Verdeckungen macht sowie ein deutlich vergrößertes Arbeitsvolumen abdecken kann.
Zur Untersuchung gegenseitiger Beeinflussungen wurde ein Teststand aufgebaut, der je eine 3D-Kamera jeder Bauart unterhalb des vorhandenen, deckenmontierten ART-Systems enthielt (siehe Abb. 1). Alle Kameras waren auf ein planes Testobjekt gerichtet, das per Roboter bewegt werden konnte. Zur präzisen Bestimmung der Position des Testobjekts kam ein passiver FARO-Messarm zum Einsatz, der mechanisch mit dem Roboter gekoppelt wurde. Zusätzlich wurden die Positionen der Ecken des Testobjekts über das ART-System erfasst, um eventuelle Verwindungen berücksichtigen zu können. In dieser (im Rahmen der hier behandelten Tests festen) Konfiguration wurden für jede Messung 100 aufeinanderfolgende Frames aus jeder aktiven Kamera aufgezeichnet. Diese Messwerte bilden die Grundlagen für die im folgenden Abschnitt dargestellten Auswertungen. 3
Abb. 1: links: Testaufbau mit PMD[vision] CamCube im Vordergrund, rechts: Positionierung des Testobjekts mittels Roboter und Positionsaufzeichnung durch passiven FARO-Messarm Getestet wurde das Zusammenspiel verschiedener Kameras unterschiedlicher und gleicher Bauart. Folgende Punkte waren hierbei von besonderem Interesse, da anhand der technischen Daten gegenseitige Beeinflussungen nahe liegen: Stört das ARTtrack2-System die PMD[vision] CamCube, da die Wellenlängen nur 10 nm auseinanderliegen? Beeinflussen sich die ToF-Kameras untereinander?
Stören sich mehrere Kinect-Kameras, da die projizierten Punktmuster nicht eindeutig zugeordnet werden können? Aufgrund der Vielzahl der getesteten Kombinationen sollen hier nur einige Ergebnisse exemplarisch genannt werden. Sämtliche im Folgenden genannten Werte beruhen auf der Auswertung des jeweils mittigen Kamerapixels und wurden über alle 100 Aufnahmen der jeweiligen Messreihe berechnet. Überraschenderweise beeinflusst der unsynchronisierte Betrieb des ARTtrack2-Systems parallel zur PMD[vision] CamCube deren Wiederholgenauigkeit nur minimal: die Standardabweichung der Entfernung verringerte sich in den Messungen beim Hinzuschalten des Trackingsystems von 3.2 mm auf 2.8 mm. Die Messwerte weisen weiterhin keine signifikanten periodischen Schwankungen oder Ausreiser auf, wie sie evtl. aufgrund der unterschiedlichen Frequenzen des ARTtrack2-Systems und der PMD[vision] CamCube zu erwarten gewesen wären (siehe Abb. 2). Auch der Betrieb verschiedener ToF-Kameras ergab keine unbekannten Probleme. Wie in früheren Arbeiten gemessen [6] stören sich mehrere PMD[vision] S3 beim Betrieb mit gleicher Frequenz massiv: die Standardabweichung liegt bei 19.4 mm im Vergleich zu 2.1 mm bei Einzelbetrieb – ein Anstieg um den Faktor zehn. Werden die PMD[vision] S3 jedoch mit Frequenzmultiplexing und (bei der Verwendung von mehr als drei Kameras) zusätzlich mit Zeitmultiplexing betrieben, so ergibt sich für die Standardabweichung ein Wert von 1.6 mm, vergleichbar mit dem Einzelbetrieb. Eine gegenseitige Beeinflussung der PMD[vision] CamCube und der PMD[vision] S3 konnte nicht festgestellt werden. Abb. 2: links: CamCube ohne ARTtrack2, rechts: CamCube mit aktivem ARTtrack2; x-Achsen: Abweichung vom Mittelwert in mm, y-Achsen: Einzelbilder innerhalb der Messreihe; durchgezogene Linie jeweils „korrekte“ Distanz Bei der simultanen Nutzung zweier Kinect im Abstand von ca. 30 cm, die auf dieselbe Fläche gerichtet sind, wäre je nach gewählter Implementierung eine starke Beeinflussung plausibel. Diese tritt jedoch in engen Grenzen erst ein, wenn die zweite Kinect in Relation zur ersten im Raum bewegt wird (Rotation, Translation): hierbei steigt die Standardabweichung von 1.4 mm auf 2.0 mm. Dies lässt sich anhand des projizierten Musters erklären, das in seiner konkreten Ausprägung globale und lokale Informationen kodiert. Anhand dieser Merkmale lassen sich Überlagerungen durch eine zweite Kinect anscheinend sehr effektiv als fremde Störquelle verwerfen. Einschränkend muss jedoch erwähnt werden, dass die im Test vorliegende frontale Ausrichtung der Kinect auf eine ebene Fläche ideale Bedingungen für das LightCoding-Verfahren darstellt. 4
Die hier vorgestellten Ergebnisse zeigen, dass der Betrieb mehrerer 3D-Kameras und des ARTtrack2-Systems bei vergleichbarer Wiederholgenauigkeit ohne weitere Maßnahmen möglich ist. Mit Ausnahme der PMD[vision] S3 Kameras untereinander kann damit auf aufwendige Synchronisierung, Abschirmung oder ähnliche Maßnahmen verzichtet werden. Dies ermöglicht in Bezug auf die getesteten Komponenten ein modulares Konzept für die Überwachung des Operationssaals: je nach Bedarf können verschiedene Kamerasysteme kombiniert werden.
So könnte beispielsweise bei einer Operation, für die die Nutzung von prä- oder intraoperativ aufgenommenen Bilddaten von Bedeutung ist, eine Microsoft Kinect zur Gestensteuerung eingesetzt werden. Bei einer anderen, roboterassistierten Operation würde dagegen ein System aus ToF-Kameras zur Freiraumüberwachung verwendet, bei einer dritten Operation ließen sich beide kombinieren.
Diese Arbeit wurde finanziert durch das siebte Rahmenprogramm der Europäischen Kommission innerhalb des Projekts „SAFROS – Patient Safety in Robotic Surgery“ unter Grant. Nr. 248960. 5