Kurzfassung. Time-of-Flight (ToF) Kameras bieten aufgrund der Mo¨glichkeit zur schnellen und robusten Oberfla¨chenerfassung großes Potential fu¨r die intra-interventionelle Akquise von Informationen u¨ber die Patientenanatomie und Organmorphologie. Eine Nutzung der neuen Technik als medizinische Bildgebungsmodalita¨t erfordert eine nahtlose Integration in die verwendete Softwareinfrastruktur. Nachdem sich das Medical Imaging Interaction Toolkit (MITK) als Framework fu¨r die medizinische Bildverarbeitung etabliert hat, stellen wir in diesem Beitrag eine Erweiterung um die Anbindung von Time-of-Flight Kamerasystemen vor (MITK-ToF). MITK-ToF unterstu¨tzt die Ansteuerung verbreiteter ToF-Kameratypen und stellt die akquirierten Bilddaten in mehreren Dateiformaten bereit. Die durch die Integration in das MITK ermo¨glichte Verwendung der dort vorhandenen Komponenten zur Bildverabeitung, Visualisierung und Interaktion ermo¨glichen die Entwicklung komplexer ToF-basierter Anwendungen. Wir zeigen das Potential des vorgestellten Toolkits beispielhaft anhand einer Anwendung zur Darstellung, Aufnahme und Wiedergabe von ToF Daten. Zur BVM 2011 wird eine erste open-source Version des Toolkits vero¨ffentlicht.
Ein zentrales Problem bei der computerbasierten Interventionsunterstu¨tzung ist
die Registrierung pra¨- und intraoperativer Daten des Patienten.
Oberfla¨chenbasierte Verfahren fu¨r die intraoperative Registrierung haben im Vergleich zu den
in der Praxis ha¨ufig eingesetzten, markerbasierten Registrierungsverfahren den
Vorteil, dass sie ohne zusa¨tzliche interne oder externe Marker auskommen und
daher schonendere Eingriffe ermo¨glichen. Fu¨r ein akkurates
Registrierungsergebnis ist jedoch eine genaue Rekonstruktion der Organoberfla¨che erforderlich.
Bisherige Ansa¨tze fu¨r die Erfassung der Organoberfla¨che (z.B. Laserscanning
oder strukturiertes Licht) sind entweder zu ungenau, zu kostspielig, oder weisen
eine zu geringe Aktualisierungsrate auf. Eine neuartige Mo¨glichkeit zur
intraoperativen Oberfla¨chenerfassung bietet in diesem Zusammenhang die
Time-ofFlight-(ToF) Kameratechnik, welche auf der Laufzeitmessung von
intensita¨tsmoduliertem Licht basiert, wie beispielsweise in [
Folgende Anforderungen werden beim Entwurf von MITK-ToF hauptsa¨chlich beru¨cksichtigt.
– Flexibilita¨t: Das Toolkit soll modular aufgebaut sein und muss verschiedene
Kameramodelle vers. Hersteller unterstu¨tzen. Die akquirierten Bilddaten
sollen in unterschiedlichen Formaten bereitgestellt werden. Ausserdem ist eine
einfache Integration in die bestehende Pipelinearchitektur der
Bildverarbeitung und Trackingkomponente (MITK-IGT [
Die Gera¨teschicht abstrahiert die Ansteuerung der ToF-Kamera-Hardware. Unterstu¨tzt werden zur Zeit u.a. die Typen O3, CamCube 2.0 und CamCube 3.0 sowie das CamBoard von PMDTechnologies (PMDTechnologies GmbH, Siegen, Deutschland). Die implementierte Klassenhierarchie ermo¨glicht es ferner, neue Kameratypen mit geringem Aufwand in MITK-ToF einzubinden. Kameraparameter werden u¨ber individuelle Konfigurationsdateien eingegeben. Das Auslesen der ToF-Bilddaten erfolgt in einem separaten Thread, der in Verbindung mit einem Datenpuffer fu¨r einen hohen Durchsatz sorgt. ToF-Kameras liefern u¨blicherweise mehrere Datenstro¨me (Distanz-, Intensita¨t- und Amplitudenbild, Rohdaten); dementsprechend werden diese Daten an die Verarbeitungsschicht weitergeleitet. Dabei werden die Bilddaten wahlweise in die Formate MITK, ITK oder OpenCV konvertiert, um eine hohe Flexibilita¨t zu erreichen.
Eine weitere Aufgabe der Gera¨teschicht ist die Bereistellung von Aufnahme (Recorder)- und Wiedergabe (Player)-Funktionalita¨ten. In MITK-ToF sind deshalb Recorder-/Player-Klassen fu¨r einige ausgewa¨hlte Bildformate (MITK, ToF Data File
Player Device
ToF
Player Config
File Distance-,
Intensity-, Amplitude Images
Distance-,
Intensity-, Amplitude Images
Image Grabber V penCO ITK ITKM ToF Data File
Config File Camera Device
ToF Camera ToF Recorder Image Grabber
Config File
Camera
Device Thread + Queue
Distance-,
Intensity-, Amplitude Images
ToF Camera Image Grabber V peCO ITK ITKM n Tracking Data V penCO ITK
Tracking Application User Interaction
MITK ITK Images MITK Filter MITK Synchronisation MITK Visualization M
OpenCV Images OpenCV
Function1 FOupnecntiConV2 MITK Visualization
ITK Images ITK Filter1
ITK Filter2 MITK Visualization Abb. 1. Schematischer Aufbau von MITK-ToF. Die Gera¨teschicht (Hardware Layer) erlaubt das Ansteuern verschiedener ToF-Kameras sowie Player/Recorder Komponenten. Die Bilddaten werden von der Device-Klasse in einem separaten Thread ausgelesen und in einer Datenpuffer zwischengespeichert. Die ImageGrabber-Klasse kann die Bilddaten dann jederzeit mit einer geringeren Latenzzeit abholen. Die Verarbeitungsschicht (Processing Layer) ermo¨glicht das Weiterverarbeiten der ToF-Daten unter Benutzung der Bildverarbeitungs-, Visualisierungs- und Interaktionskomponenten des MITK sowie assoziierter Toolkits wie ITK und OpenCV. In der Grafik sind beispielhaft verschiedene Anwendungszenarien skizziert. ITK, Textdatei) implementiert, neue Formate ko¨nnen durch Implementierung von neuen Writer-/Reader-Klassen eingebunden werden. 2.2
Die Verarbeitung der ToF-Bilddaten ist vollsta¨ndig in die Pipeline-Architektur von MITK integriert. Filter ko¨nnen sowohl fu¨r die Vorverarbeitung (z.B. TiefenKorrektur, Entrauschen) als auch fu¨r die spezifische Anwendung (z.B. 3D Oberfla¨chenmodell-Generierung, Registrierung) in eine Pipeline zusammengeschaltet werden. Wa¨hrend bei Aufgaben wie Gla¨ttung und Entrauschung Standardfilter von ITK, MITK oder OpenCV zum Einsatz kommen ko¨nnen, werden fu¨r die ToF-Bildverarbeitung spezielle Filter implementiert. Es existieren beispielsweise Filter fu¨r die Bereiche Segmentierung und 3D-Oberfla¨chengenerierung. Die Auswahl und Zusammenstellung der erforderlichen Filter sind allerdings sehr anwendungsspezifisch, einige typische Anwendungsszenarien sind in Abb. 1 dargestellt. Durch die flexible Schnittstelle kann auf sa¨mtliche Filterfunktionalita¨ten von ITK, MITK und OpenCV zuru¨ckgegriffen werden. Zusa¨tzlich zu den Filterklassen beinhaltet die Verarbeitungsschicht eine Sammlung von wiederverwendbaren Bedienelementen fu¨r die grafische Benutzeroberfla¨che (GUI-Widgets) zur Gera¨tekonfiguration, zum Aufnehmen und Abspielen sowie fu¨r die Visualisierung von ToF-Daten (Abb. 2). 3
Um die Funktionsweise von MITK-ToF zu demonstrieren, wurde beispielhaft eine Anwendung zur Darstellung, Aufnahme und Wiedergabe von ToF-Daten entwickelt (Abb. 2), die es ermo¨glicht, ToF-Bilder auf eine einfache Art und Weise zu visualisieren und ToF-Oberfla¨chenmodelle mit einer Wiederholungsrate von bis zu 20 Bilder pro Sekunden zu generieren (Intel Core i7 3GHz, Windows 7 64bit, ToF-Kamera: PMDTec CamCube 3.0). Sa¨mtliche GUI-Widgets und Filter von MITK-ToF sind in diese Anwendung integriert. Eine erste open-source Version wird zur BVM 2011 auf www.mitk.org unter einer BSD-kompatiblen Lizenz vero¨ffentlicht. Zusa¨tzlich soll MITK-ToF auf der BVM 2011 als Softwaredemonstration gezeigt werden. 4
Mit MITK-ToF beschreibt diese Arbeit eine Erweiterung des MITK um die
Anbindung von ToF Kameras sowie die Weiterverarbeitung aufgenommener
ToFDaten fu¨r den Einsatz zur intra-interventionellen Oberfla¨chenerfassung.
Besonderer Wert wurde auf Erweiterbarkeit, Robustheit und Performanz gelegt, um
den grundlegenden Anforderungen an Systeme zur computerbasierten
Therapieuntestu¨tzung zu genu¨gen. Zuku¨nftige Arbeiten konzentrieren sich auf die
Integration von schnellen, GPU-basierten Algorithmen, Verfahren zur
Kamerakalibrierung [
Yung et al.
Abb. 2. Screenshot der entstandenen ToF-Anwendung. Im Kontrollbereich auf der linken Seite werden Widgets zur Gera¨tekonfiguration, zum Aufnehmen und Abspielen, sowie fu¨r die Visualisierung und Filterkonfiguration verwendet.
ToF Connection Widget
ToF Recorder Widget ToF Visualisation Settings Widget
ToF Composite Filter Widget
Distanzbild
Amplitudenbild Intensitätsbild 3D-Modell Dem open-source Gedanken folgend, stellt diese Arbeit eine Basis fu¨r zuku¨nftige Weiterentwicklungen im Bereich ToF-basierter Systeme dar.