Es werden vier Werkzeuge vorgestellt, mit denen Segmentierungen interaktiv partitioniert werden können. Sie arbeiten bild- oder objekt-basiert. Das Skalpell-Werkzeug ermöglicht die Partitionierung einer Segmentierung, indem entlang nutzer-definierter Pfade auf der Bildebene Schnittoperationen durchgeführt werden. Über ein Mal-Werkzeug können bild-basiert, analog zu bekannten Zeichen-Applikationen, Teile einer Segmentierung markiert werden, die dann einer separaten Partition zugeordnet werden. Objekt-basiert arbeitet das Cutter-Werkzeug, mit dem Trennpfade direkt auf einem Segmentierungs-Mesh eingezeichnet und zur Partitionierung genutzt werden können. Mithilfe des objekt-basierten ThinCut-Werkzeugs können Schnitte an automatisch berechneten lokal dünnsten Verbundstellen einer Segmentierung vorgenommen werden. Eine erste Nutzerstudie zeigt, dass Anwender effizient und effektiv Segmentierungen mittels der Werkzeuge nachbearbeiten können. Gegenüber manuellen Nachbearbeitungen konnten stets, teils hohe, Zeitersparnisse unter Nutzung der Werkzeuge erzielt werden.
Silva et al. [3] stellen in ihrer Arbeit Techniken der ersten Kategorie vor. Über die Anwendung von DeformierungsWerkzeugen lassen sich Segmentierungs-Meshes korrigieren. Zur Anpassung von Voxelmasken arbeitet ein weiteres Verfahren auf Basis von Brush-Interaktionen in 2D-Schichtansichten der Bilddaten. lumeneffekte oder andere Artefakte wiederum dazu führen, dass angestrebte Ergebnisse gar nicht erreicht werden. Zudem hängt das Partitionierungsergebnis von geeigneten Parametrisierungen und Startbedingungen der Nutzereingaben ab (etwa Position von Saatpunkten in [2] und [4]). Daher war es das Ziel dieser Arbeit, intuitive interaktive Werkzeuge zu entwickeln, die die effektive Partitionierung von gegebenen Segmentierungen ermöglichen, ohne deren bestehende Genauigkeit zu verletzen. 2
Die methodische Vorgehensweise zur Entwicklung effektiver Partitionierungs-Werkzeuge steht in Anlehnung an eine szenario-basierte Strategie [5]. Dabei wurden bereits vorhandene User-Stories ausgewertet, aus denen sich drei generalisierte Anwendungsfälle für eine Nachbearbeitung von Segmentierungen ableiten ließen: 1. Partitionierung einer Segmentierung in semantische Untereinheiten (z.B. Trennung des Unterkiefers von übri- gen Knochenstrukturen in einer Schädel-Segmentierung) 2. Entfernung aufnahme-bedingter Bildartefakte oder Fremdobjekte (z.B. Entfernung einer fälschlicherweise mit- segmentierten Sichtschutzblende aus einer Schädel-Segmentierung) 3. Korrektur durch Trennung einer fälschlicherweise zusammenhängenden Segmentierung (z.B. Trennung von als
Einheit extrahierten Wirbelkörpern in einer Wirbelsäulen-Segmentierung) Die Interaktionsaufgabe bei der Durchführung einer Partitionierung besteht in der Definition eines Trennpfads. Dazu sollen die notwendigen Interaktionen mit einer Mesh-Repräsentation der Segmentierung vorgenommen werden. Dadurch werden räumliche Lagebeziehungen und geometrische sowie topologische Eigenschaften der repräsentierten Struktur schnell ersichtlich und der Anwender bei der Einschätzung über den Bedarf einer Partitionierung unterstützt. Die Berechnungen zur Aufteilung der Segmentierung sollen auf deren Voxelmaske durchgeführt werden, da diese die Segmentierung in vollständigem Umfang beinhaltet, während bei einem Mesh durch Glättungen o.ä. Teile der Segmentierung möglicherweise fehlerhaft oder gar nicht abgebildet werden. Auf Grundlage des Trennpfads kann anschließend eine Trennfläche generiert werden, anhand derer die Segmentierung im 3D-Raum aufgeteilt werde kann.
Vor dem Hintergrund der beschriebenen Anwendungsfälle wurden insgesamt vier interaktive Partitionierungswerkzeuge entwickelt, die eine bild- bzw. objekt-basierte Trennpfad-Definition erlauben. 2.1
Das erste Partitionierungswerkzeug ist das Skalpell-Werkzeug. In Anlehnung an eine Skalpell-Metapher stellt es Funktionalitäten zur Verfügung, um eine Segmentierung durch Ausnutzung freier räumlicher Trennpfade an beliebig vielen Verbundstellen aufzuteilen. Dazu zeichnet der Anwender bild-basiert auf einer 3D-Darstellung eines SegmentierungsMeshes über eine Drag-and-Drop-Interaktion die gewünschten Trennpfade ein.
Aus den Trennpfaden werden anschließend Trennflächen generiert, indem die Pfade in Sichtrichtung in die Szene projiziert werden. Das entspricht einer Extrusion der Pfade in die Tiefe. Die Flächen werden durch Hyperebenen repräsentiert, an denen die Trennung der Segmentierung vorgenommen wird. Jedes Voxel in der Maske der Segmentierung wird abhängig von seiner relativen Lage zu den Flächen einer Partition zugeordnet. 2.2
Das zweite Werkzeug wird als Cutter-Werkzeug bezeichnet. Es erlaubt die interaktive Festlegung geschlossener Trennpfade auf dem Mesh einer Segmentierung und arbeitet damit objekt-basiert. Dazu kann ein Anwender analog zu einer Anwendung eines Cutters in der realen Welt sukzessive Vertices des Mesh selektieren, wobei zwischen nacheinander 6 Abb. 1: Anwendung Skalpell-Werkzeug zur
Wirbeltrennung (links) und Resultat (rechts) gesetzten Punkten geodätische Pfade [6] erzeugt werden. Eine Selektion des initial gesetzten Punktes bewirkt das Schließen des Pfades.
Zur Erzeugung der Trennflächen wird das von den Pfaden umspannte Volumen tesseliert. Jede der Flächen dient als Schnittebene, an denen die Segmentierung partitioniert wird. Dazu wird über ein Region Growing in der Voxelmaske der Segmentierung die Partitionierung berechnet, wobei die Trennflächen als Stopp-Kriterium dienen. 2.3
Ein weiteres Werkzeug ist das Mal-Werkzeug, mit dem bild-basiert über die Bewegung einer kreisflächigen PinselRepräsentation (ähnlich zur Drag-and-Drop Interaktion) Teile eines Segmentierungs-Meshes markiert und anschließend partitioniert werden können. Die Interaktionstechnik ist damit vergleichbar mit dem Bemalen einer Fläche in bekannten Zeichen-Applikationen. Die Kontur der markierten Bildfläche bildet den Trennpfad.
Die Trennflächen werden durch eine Projektion der Trennpfade entlang der Bildebenen-Normalen in die Tiefe erzeugt. Die Zugehörigkeit eines Voxels zu einer Partition wird anhand seiner Lage relativ zu den Trennflächen entschieden. Liegt es innerhalb des durch die Trennflächen aufgespannten Volumens, wird es der ersten Partition zugeordnet, ansonsten einer zweiten. 2.4
Die Interaktionsaufgabe beim ThinCut-Werkzeug besteht darin, zwei Punkte auf einem Segmentierungs-Mesh zu selektieren. Davon ausgehend wird automatisch ein Schnitt an der dünnsten Verbundstelle zwischen den Punkten durchgeführt. Das Vorgehen beruht auf Erkenntnissen der Wahrnehmungspsychologie, nach denen Menschen ein Objekt entlang Punkten minimaler Krümmung in Untereinheiten aufteilen (Minima Rule [7]). Die Punkte auf der Mesh-Oberfläche, die die Minima Rule erfüllen, bilden lokal dünnste Verbundstellen.
Zur Ermittlung der dünnsten Verbundstelle zwischen zwei Punkten innerhalb einer Segmentierung wird der von Salah et al. [8] vorgestellte Algorithmus verwendet. An der resultierenden Position wird eine Trennfläche orthogonal zu einer approximierten Skelettlinie platziert, die zur Partitionierung der Segmentierung dient.
Abb. 3: Anwendung ThinCut-Werkzeug zur Blenden-Entfernung (links, Mitte) und Resultat (rechts) 3
Alle Partitionierungswerkzeuge wurden prototypisch implementiert und in einer ersten Nutzerstudie getestet. Dabei wurde untersucht, inwiefern sich die Werkzeuge effizient in drei an die beschriebenen Anwendungsfälle angelehnten Testszenarien einsetzen lassen. Im ersten Szenario sollten verschmolzene Wirbelkörper in einer Segmentierung getrennt werden (s.o. Anwendungsfall 3). Im zweiten Szenario galt es, den Unterkiefer von einer Schädel-Segmentierung zu separieren (AF 1). Der letzte Testfall behandelte die Entfernung einer mitsegmentierten Sichtblende aus einer SchädelSegmentierung (AF 2). 3.1
Als Grundlage für die Experimente dienten CT-Datensätze des Hals- und Kopf-Bereichs, die Halswirbel, Schädelknochen und teilweise Sichtschutzblenden enthielten. Für jedes Testszenario wurde aus der Menge der Datensätze ein einzelner ausgewählt. In einer Vorverarbeitung wurden die für den jeweiligen Testfall relevanten Strukturen in einem Volume of Interest aus einem Datensatz extrahiert. Anschließend wurden die Strukturen mittels eines schwellwert-basierten Verfahrens segmentiert. 3.2
Zur Bewertung von Partitionierungsvorgängen und -ergebnissen unter Verwendung der vorgestellten Werkzeuge wurden die Strukturen eines Testfalls durch jeden Probanden zunächst manuell partitioniert. Dazu stand eine Applikation zur Verfügung, mit der eine Segmentierung schichtweise bearbeitet werden kann. Bei der manuellen Partitionierung wurde die Zeit gemessen, die für die vollständige Bearbeitung einer Segmentierung benötigt wurde. Der Messwert kann für einen Vergleich mit Partitionierungsvorgängen unter Nutzung der Werkzeuge herangezogen werden. Insgesamt nahmen fünf Probanden an der Versuchsreihe teil. Keiner von ihnen verfügt über eine spezielle medizinische Ausbildung. Allerdings besitzen alle Testnutzer zumindest grundlegende Kenntnisse über medizinische Bilder und deren Aufbau sowie die Erstellung manueller Segmentierungen. 3.4
Jeder Proband hatte für jeden Testfall zunächst die Aufgabe, die vorerstelle Segmentierung manuell zu partitionieren. Anschließend wurden die Segmentierungen nacheinander mit jedem Werkzeug solange partitioniert, bis das erreichte Ergebnis nach Einschätzung eines Probanden möglichst genau mit der zugehörigen manuellen Partitionierung übereinstimmte. Im Vorfeld wurde den Probanden jedes Werkzeug anhand seiner Metapher erläutert und die gewünschte Auftei
Es wurden insgesamt vier interaktive Partitionierungswerkzeuge vorgestellt, mit denen medizinische Segmentierungen etwa für Korrekturen oder die Erzeugung von Struktur-Hierarchien nachbearbeitet werden können. Im Gegensatz zu anderen Techniken verfolgen die Werkzeuge eine duale Verarbeitungsstrategie. Dabei werden Interaktionen mit einem 3D-Mesh der Segmentierung durchgeführt, während die zugrundeliegende Voxelmaske im Partitionierungsprozess modifiziert wird.
Eine erste Nutzerstudie zeigte, dass dadurch ungelernte Anwender mit schnell steigender Lernkurve zu einer effizienten Bedienung befähigt werden. Statt aufwändige schichtweise manuelle Nachbearbeitungen vornehmen zu müssen, genügen durch Einsatz der Werkzeuge wenige Interaktionen, um in kurzer Zeit ein gewünschtes Segmentierungsergebnis zu erhalten.
In nachfolgenden Arbeiten müssen in weiterführenden Nutzerstudien mit einer größeren Anzahl (medizinisch ausgebildeter) Probanden untersucht werden, ob sich die bisher gewonnenen Erkenntnisse hinsichtlich der Effektivität und Effizienz der Werkzeuge auch in anderen Testszenarien bestätigen. Von Interesse ist außerdem, inwiefern sich andere Interaktionstechniken oder Eingabegeräte auf die Werkzeug-Nutzung auswirken. Beispielsweise könnten für die bildbasierten Techniken Stift-Eingabegeräte verwendet werden, um die Interaktionsdurchführung noch effizienter zu gestalDie Experimente zeigten, dass sich alle Werkzeuge effektiv für einen Einsatz in den generalisierten Anwendungsfällen eignen. Das Maß der Eignung eines Werkzeugs hing dabei von der Komplexität des jeweiligen Anwendungsfalls ab. So fielen den Probanden die Partitionierungen von Strukturen schwerer, die dicht beieinander lagen, wie im Fall der Blende-Entfernung aus der Schädel-Segmentierung. Für solchen Anwendungen erwiesen sich Werkzeuge als nützlicher, die eine möglichst genaue Trennpfad-Definition unterstützen (Skalpell, Cutter) oder automatisch den Wünschen der Probanden entsprechende Pfade generieren (ThinCut).
Insgesamt waren alle Probanden mit schnell steigender Lernkurve in der Lage, die Werkzeuge zu beherrschen. Nach Aussage der Probanden halfen die eingesetzten Metaphern, die Bedienungs- und Funktionsweisen der Werkzeuge zu verstehen. Die Probanden gaben an, dass die Werkzeuge besonders praktisch für eine schnelle initiale Grobkorrektur bzw. grobe Nachbearbeitung von Segmentierungen seien, die dann mit manuellen Techniken sukzessive weiter verfeinert werden könnten. Detailbearbeitungen ließen sich demnach nur unter hohem Interaktionsaufwand mit den Werkzeugen umsetzen.
Hinsichtlich der Effizienz der Werkzeuge konnte festgestellt werden, dass gegenüber einer manuellen Partitionierung in jedem Testfall unter Verwendung der Werkzeuge eine Zeitersparnis im Interaktions- sowie Gesamtaufwand erzielt werden konnte. Dabei erwiesen sich bild-basierte Werkzeuge als zeitaufwändiger in der Anwendung als die objekt-basierten. Die subjektiven Einschätzungen der Probanden ergaben außerdem, dass die Werkzeuge insgesamt einfach einsetzbar und nutzerfreundlich in ihrer Bedienung sind. ten. Als sinnvoll können sich auch solche Interaktionstechniken erweisen, die ähnlich dem ThinCut-Werkzeug automatisch Trennpfade erzeugen.