Automatisch erzeugte Beschriftungen und manuell hinzufügbare Markierungen sind in kollaborativen medizinischen 3D-Lernumgebungen von großer Bedeutung. Die Beschriftung medizinischer Darstellungen erleichtert die Identifizierung anatomischer Strukturen anhand ihrer Bezeichnungen. 3D-Annotationstools können genutzt werden, um sich mit anderen Lernenden oder Tutoren über das Web auszutauschen, Fragen zu stellen und kollaborativ anhand interaktiver medizinischer 3D-Visualisierungen zu lernen. Wir beschreiben in diesem Beitrag ein webbasiertes Labeling- und Annotationsframework, das mit modernen Web3D-Techniken wie HTML 5 und WebGL umgesetzt wurde und für die medizinische Aus- und Weiterbildung genutzt werden kann. Der automatische Labelingalorithmus wurde erfolgreich an 19 segmentierten patientenindividuellen Leberdatensätzen und einem HNO-Fall getestet. Web 2.0-Portale wie SurgeryNet4 oder webop5 bieten Medizinern in der Aus- und Weiterbildung geeignete Austauschund Lernplattformen, indem sie OP-Videos, Experten-Vorträge, klinische Fallberichte oder Live-OP-Übertragungen orts- und zeitunabhängig bereitstellen. Zunehmend unterstützen aktuelle Web-Anwendungen interaktive, plugin-freie 3D-Visualisierungen zum Lernen und Trainieren anatomischer und pathologischer Grundlagen. Web-Applikationen wie BioDigitalSystems [1], Zygote Body [2] oder der LiverAnatomyExplorer [3] bieten die Möglichkeiten der interaktiven Exploration von 3D-Darstellungen patientenindividueller Datensätze (freie Rotation, Translation und Zoom) und der Filterung der Modelle (z.B. die Freistellung einzelner Organe oder die gleichzeitige Darstellung von Nervenbahnen, Weichgeweben und Knochen). Dennoch unterstützen diese Lernsysteme keine automatisch generierten Beschriftungen (Labels) zur Kennzeichnung einzelner Strukturen. Diese Funktion ist jedoch in Lernumgebungen essentiell, um die anatomisch korrekten Bezeichnungen sowie die Lage von Strukturen einzuprägen [4]. Labels und deren Verbindungslinien zu Ankerpunkten sollten automatisch erzeugt, dauerhaft eingeblendet und geschickt am 3D-Modell platziert werden, um den Lernprozess zu unterstützen. Unter anderem wurden in [4] und [5] Verfahren zur externen Beschriftung polygonaler Modelle vorgestellt. Während in [4] die Labels einheitlich spaltenartig neben der Visualisierung platziert werden, werden in [5] ColorIDBuffer und verschiedene Layoutparadigmen genutzt, um Labels kreisförmig um die Szene anzuordnen. Das Verfahren ist jedoch auf kompakte Szenen beschränkt und unterstützt keine transparenten Strukturen, sodass innenliegende Strukturen, die durch transparente Objekte verdeckt werden, nicht gelabelt werden können. Des Weiteren bieten aktuelle Web3D-Anwendungen keine Möglichkeit des individuellen Austauschs mit direkter Unterstützung der dreidimensionalen Darstellung. Mehrere Autoren ([6], [7], [8]) beschreiben zwar webbasierte Kollaborationswerkzeuge - diese erfordern jedoch meist komplexe Server- und Client-Infrastrukturen oder sind nicht auf medizinische Anwendungen zugeschnitten. Vor allem im Lernkontext sind Annotationsfunktionen für 3D-Modelle essentiell, um den gegenseitigen Austausch zwischen Lernenden untereinander oder mit Lehrverantwortlichen zu ermöglichen. So lassen sich z.B. Rückfragen zu seltenen Gefäßerkrankungen, Gefäßanomalien, Tumoren oder chirurgischen Behandlungsoptionen direkt am virtuellen Modell anhand einer eingefügten Markierung klären. Wir präsentieren in diesem Beitrag ein webbasiertes Annotations- und Labelingframework auf Basis eigener Vorarbeiten [3] und aktueller Web3D-Techniken wie WebGL [9] und X3DOM [10]. Mit Hilfe der Labeling- und Annotations4 http://www.surgerynet.de 5 http://www.webop.de
funktionen unterstützt das Tool gezielt das Lernen der Leber-Anatomie, ermöglicht jedoch auch die Darstellung anderer Organe. 2
Der in [Birr et al. 2013] vorgestellte LiverAnatomyExplorer unterstützt die Einbettung von 3D-Szenen im X3D-Format in eine pluginfreie Webanwendung. Medizinische 3D-Szenen können somit interaktiv in Echtzeit exploriert und anatomische Kenntnisse mit Hilfe von Multiple-Choice-Tests und 3D-Klick-Routinen individuell trainiert werden. Dieses Framework wurde um eine Annotations-, Kollaborations- und Labelingfunktion erweitert.
Wir beschränken uns aus Komplexitätsgründen und aufgrund der besseren Lesbarkeit auf externe Labels. Ein externes Label ist demnach ein Textelement, das eine 3D-Struktur näher kennzeichnet. Das Label wird durch einen Ankerpunkt und einer Verbindungslinie mit der 3D-Struktur verbunden. Nach [4] müssen mehrere grundlegende Anforderungen und stilistische Aspekte an 3D-Labels erfüllt sein:
Ankerpunkte müssen sichtbar auf den zu annotierenden Strukturen platziert werden. Im Folgenden wird beschrieben, wie diese Anforderungen gelöst wurden.
Die Positionierung der Ankerpunkte ist wichtig, um die Struktur identifizieren zu können. Dazu müssen die Ankerpunkte auf der 2D-Projektion der Struktur sichtbar sein. Um eine zweifelsfreie Identifizierung zu unterstützen, sollte der Ankerpunkt im sichtbaren Schwerpunkt der 2D-Struktur positioniert werden.
Abbildung 1: Schematische Darstellung der rekursiven Teilung der 2D-Projektion als
Basis für die Positionierung der Ankerpunkte Um diese Anforderungen zu erfüllen, wurde das automatische Labeling auf Basis der aktuellen 2D-Projektion des 3DModells umgesetzt. Die Szene wird dazu rekursiv durchlaufen (Abb. 1). Ausgangspunkt des Algorithmus ist die gesamte Szene. Wenn die gesuchte Struktur in der Szene enthalten ist, wird die Szene in vier Teile geteilt (Abb. 1A) und die resultierenden Rechtecke in einer Warteschlange gespeichert. Im nächsten Schritt wird das erste Rechteck aus der Warteschlange entfernt und auf Vorhandensein der gesuchten Struktur überprüft. Ist die Struktur innerhalb des Rechteckes sichtbar, so wird das Rechteck erneut in vier Teile zerteilt. Ist die Struktur nicht enthalten, so wird das Rechteck verworfen (Abb. 1B). Diese Prozedur wird wiederholt, bis in einem Rechteck nur noch die gesuchte Struktur enthalten ist (Abb. 1C). Wenn die Struktur einen Großteil dieses Rechteckes ausfüllt, wird der Ankerpunkt der Struktur auf den Mittelpunkt des Rechteckes gesetzt.
Mit Hilfe des zuvor beschriebenen Algorithmus zur Positionierung der Ankerpunkte können freie Rechtecke innerhalb der Szene ermittelt werden, indem freie Flächen zwischengespeichert werden. Diese Regionen werden im Folgenden genutzt, um externe Labels in der Szene zu positionieren. Damit die Labels einander nicht überlappen, wird jeder freien Fläche maximal ein Label zugeordnet. Die gewählte Fläche soll dabei möglichst nah zum Ankerpunkt der Struktur sein. Die Auswahl der Labelposition erfolgt auf Basis der zuvor auf Labelhöhe angepassten und nach Distanz sortierten freien Rechtecke (schematisch dargestellt in Abb. 2). Um eine passende freie Fläche für das Label einer Struktur zu finden, wird zunächst das freie Rechteck mit niedrigster Distanz betrachtet. Wenn die Länge des Labels kleiner als die Länge des Rechteckes ist, so wird das Label in diesem Rechteck angezeigt. Ist das Label jedoch zu lang wie in Abb. 2 A, wird untersucht, ob das Rechteck benachbarte Rechtecke besitzt. Ist dies nicht der Fall, wird das Rechteck mit nächst niedrigster Distanz betrachtet (siehe Abb. 2 B). Dieses Rechteck ist ebenfalls zu kurz, besitzt jedoch benachbarte Rechtecke. Das Rechteck wird mit dem benachbarten Rechteck verbunden und es wird erneut geprüft, ob das Label in das (verbundene) Rechteck passt. Da dies in Abb. 2 C zutrifft, wird das Label in diesem Rechteck erstellt.
Abbildung 3: 3D-Visualisierung von Lebervenen und -arterien sowie eines Tumors in dem webbasierten 3D-Viewer. Mit Hilfe des Annotationsframeworks und klinischem Fachpersonal erfolgte die Markierung des frühen Abgangs der rechten Leberarterie (grüne Kugel) sowie einer inferioren Lebervene (gelber Pfeil). Der automatische Labelingalgorithmus wurde an 19 Leber-Datensätzen erprobt. Bei einer großen Anzahl von Strukturen sind in der aktuellen Implementierung störende Überschneidungen der Labelverbindungslinien möglich. Dies kann jedoch in der Weiterentwicklung des Prototyps durch Austauschen der sich schneidenden Labels verhindert werden. Fast alle Anforderungen an 3D-Labelingmethoden werden mit unserem Verfahren erfüllt. Ankerpunkte sind deutlich erkennbar und liegen im Schwerpunkt der zu annotierenden Struktur. Die externen Labels werden am Rand der Szene positioniert, sind überdeckungsfrei und verdecken keine anderen Szenenelemente. Auch halb-transparente Strukturen werden korrekt identifiziert und beschriftet, z.B. „Tumor 1“ und die Leberoberfläche in Abb. 4, links. Prototypisch sind auch interne Labels implementiert, sodass auch bei starker Vergrößerung des Modells die Bezeichnungen der Strukturen kontextabhängig integriert werden (Abb. 4, Mitte). Weiterhin wurde das Labeling-Verfahren auf einem HNO-Datensatz angewendet und getestet. Alle segmentierten Strukturen des Halses (Knochen, Muskeln, Sehnen, Tumore, Lymphknoten) wurden automatisch beschriftet (Abb. 4, Rechts). Die Beschriftung der 3D-Szene erfolgt automatisch in ca. 2s (AMD Phenom II X4, 3,2 GHz, 8 GB RAM, Nvidia GeForce GTX 260).
Abbildung 4: Links: Ergebnis des automatischen 3D-Labelings einer Leber, inkl. Gefäßen und zwei Tumoren. Die Beschriftungen der Strukturen werden am Rand der Szene positioniert. Mitte: Umsetzung eines prototypischen internen Labelingverfahrens bei großer Zoomstufe. Rechts: Erfolgreiche Erprobung des Labelingkonzepts an einem HNODatensatz. 4
Die Beschriftung der Szene erfolgt zwar automatisch, jedoch passen sich die Labels bei Rotation des 3D-Modells nicht entsprechend der aktuellen Kameraposition an. Weitere Arbeiten konzentrieren sich daher auf eine Implementierung auf Shader-/GPU-Basis, um eine automatische Neupositionierung der Labels und eine bessere Performance zu erreichen. Ali et al. [5] liefern mit einem Multi-id-Buffer-Verfahren eine gute Grundlage für Verbesserungsmöglichkeiten unseres Ansatzes. Außerdem beschreiben Mühler et al. [13] interessante Ansätze zur Gruppierung von Labels und der kontextuellen Hervorhebung von Strukturen über die Platzierung von Icons in den Labels. Unsere weiteren Arbeiten werden diese Ansätze mit berücksichtigen.
In enger Zusammenarbeit mit klinischem Fachpersonal wurden 16 onkologische Leberdatensätze und 3
Leberlebendspenden mit MeVisLab [