Workflow für die Segmentierung von Felsenbeindatensätzen zur Er- zeugung künstlicher Felsenbein-Präparate M. Neugebauer1, R. Gasteiger1, U. Vorwerk2, J. Dornheim1, B. Preim1 ¹ Otto-von-Guericke-Universität, Institut für Simulation und Graphik, Magdeburg, Deutschland 2 Universitätsklinikum, Klinik für Hals-, Nasen- und Ohrenheilkunde, Magdeburg, Deutschland Kontakt: mathias.neugebauer@ovgu.de Abstract: Durch den Einsatz von Cochlea-Implantaten kann das Hörvermögen bei hochgradig schwerhörigen und tauben Patien- ten verbessert bzw. wiederhergestellt werden. Aufgrund eines zunehmenden Mangels an humanen Felsenbeinpräparaten kommen für das OP-Training künstliche, durch Rapid-Prototyping gefertigte Modelle zum Einsatz. Als Datengrundlage für das Rapid-Prototyping-Verfahren werden die CT-Schichtdaten segmentiert und in ein polygonales Oberflächengitter überführt. Die unterschiedliche Dichte der Knochenstrukturen erfordert ein spezialisiertes Segmentierungsverfahren. Es basiert auf dualen Schwellenwerten die mittels interpolierten Konturen zusammengefasst werden können. Um schon während der Segmentierung die Qualität der Segmentierung überprüfen zu können, werden diverse gekoppelte Sichten (2D-Schicht, 2D-Schnitt durch Datensatz, echtzeitgenerierte 3D-Oberfläche) zur Verfügung gestellt. Der sich daraus ergebende Workflow konnte erfolgreich auf Bilddaten von Felsenbein-Präparaten und Probanden angewendet werden. Sowohl Aufwand als auch Qualität der Segmentierung wurde von einem HNO-Spezialisten als adäquat für die Erzeu- gung von künstlichen Felsenbein-Implantaten für das Training bzw. die Operationsplanung bewertet. Schlüsselworte: Felsenbein, Prototyping, Segmentierung 1 Problem Durch den Einsatz von Cochlea-Implantaten kann das Hörvermögen bei hochgradig schwerhörigen und tauben Patienten verbessert bzw. wiederhergestellt werden. Das Implantat ersetzt dabei die Funktion des geschädigten Innenohrs (Coch- lea), indem es akustische Signale über einen Audio-Prozessor in elektrische Impulse überführt und diese an den noch funktionierenden Hörnerv weitergibt [5]. Die Elektrodenbündel des Implantats werden operativ in die Hörschnecke eingebracht. Dazu muss ein Zugangskanal durch das Felsenbein, ein sehr harter, das Innenohr umgebender Teil des Schläfenbeins, gefräst werden. Um die erfolg- reiche Einbringung des Implantats zu gewährleisten, muss der Zugang sehr präzise auf die Hörschnecke ausgerichtet sein. Außerdem muss darauf geachtet werden, keine der naheliegenden Nerven (Gesichts- und Geschmacksnerv) zu ver- letzen [1]. Aufgrund eines zunehmenden Mangels an humanen Felsenbeinpräparaten kommen für das OP-Training auch künstliche Modelle zum Einsatz [4]. Diese Modelle werden mithilfe von Rapid Prototyping-Verfahren auf Basis von CT- Schichtdaten, entweder von vorhandenen Präparaten oder Patienten, hergestellt. Der Herstellungsprozess ist in den letz- ten Jahren wesentlich verbessert worden, so dass die Modellerstellung günstiger und weniger fehleranfällig ist. Somit können neben Standardsituationen auch komplizierte, patientenindividuelle Eingriffe, wie z.B. die Implantation bei Kin- dern, vor der eigentlichen Operation trainiert werden. Durch den Einsatz moderner Materialien (lichtempfindliche P o- lymere) und Produktionsverfahren (Stereolithograpie) können die feinen Hohlraumstrukturen des Innenohrs in ausrei- chendem Detailgrad und mit plausiblen haptischen Eigenschaften modelliert werden [2, 3]. Als Datengrundlage für das Rapid-Prototyping-Verfahren werden die CT-Schichtdaten segmentiert und in ein polygona- les Oberflächengitter überführt. Die Genauigkeit dieses Verarbeitungsschrittes entscheidet maßgeblich über die Qualität des zu erzeugenden Modells. Im Folgenden wird ein, auf die Besonderheiten von CT-Schichtbildern des Felsenbeins an- gepasster, Segmentierungs-Workflow beschrieben, der es dem HNO-Spezialisten durch direktes visuelles Feedback er- möglicht, die Qualität des resultierenden polygonalen Oberflächengitters abzuschätzen. Eine besonders effiziente, hard- waregestützte Generierung detaillierter Oberflächenmodelle (ca. 2 Mio. Punkte) ist dabei wesentlich. 11 2 Methoden Daten: Vier Datensätze wurden mit dem Siemens AXIOM Artis C-Bogen Scanner akquiriert. Diese besitzen eine hohe Ortsauflösung auf (isotrope Voxelauflösung: 0.063 mm - 0.135 mm, Schichtanzahl: 512x512x324 - 1024x1024x271, zwei Aufnahmen von Felsenbein-Präparaten und zwei Aufnahmen von Probanden). Es wurde auf ein hardwareseitiges Nachschärfen (Rekonstruktionskernel: sharp) der Bilddaten verzichtet, da dies das Signal-zu-Rausch Verhältnis ver- schlechtert und somit die nachfolgende intensitätsbasierte Segmentierung erschwert. Wie in Abbildung 1 zu erkennen, werden dichte Knochenstrukturen, wie das Felsenbein, durch hohe Intensitätswerte repräsentiert, während die feinen knöchernen Strukturen, die die Hohlraumstrukturen umschließen, im mittleren Intensitätsspektrum angesiedelt sind. Dies lässt sich durch ihre geringe Dichte und den aufgrund ihrer filigranen Natur, trotz der hohen Ortsauflösung, auftretenden Partialvolumeneffekt erklären. Segmentierungsmethode: Um adäquate Trainingsmodelle prototypisch herstellen zu können, müssen sowohl die dich- ten als auch die feinen Knochenstrukturen im Segmentierungsergebnis repräsentiert werden. Für die Segmentierung wird ein Schwellenwert-Verfahren verwendet. Dabei wird ein Intensitätswert festgelegt und die Voxel, deren Intensitätswert über dieser Schwelle liegen, werden der Segmentierungsmaske hinzugefügt. Dieses einfache Segmentierungsverfahren ist für Knochen gut geeignet, da sie in CT-Schichtbildern einen hohen Intensitätsgradienten bezüglich des umgebenden Gewebes aufweisen. Für die Segmentierung muss nur ein Parameter, der Schwellenwert, definiert werden. Bei standardi- sierten CT-Aufnahmen kann dieser Parameter zudem anhand der Houndsfield-Einheiten (HU), zumindest für die dichten Knochenstrukturen, automatisch bestimmt werden. Duale Segmentierung: Da zwei Arten von Knochen (dicht, filigran) segmentiert werden müssen, erweitern wir das Segmentierungsverfahren so, dass zwei Schwellenwerte genutzt werden. Für die visuelle Kontrolle der jeweiligen Schwellenwert-Segmentierung werden gekoppelte Sichten bereitgestellt, die jeweils die aktuelle ausgewählte Schicht des CT-Datensatzes zeigen. Nach Definition eines Schwellenwertes wird die resultierende Segmentierungsmaske als far- biges, semi-transparentes Overlay in der zugehörigen Sicht angezeigt. Der Schwellenwert für die dichten Knochenstrukturen kann, ausgehend von der für dichte Knochen typischen HU (~1300), automatisch definiert werden. Da die dichten Knochen größere, geschlossene Strukturen darstellen, wird ein Region-Growing verwendet, das ausgehend von einem manuell gesetzten Saatpunktes anhand des Schwellenwertes seg- mentiert. Aufgrund des geringen Rausch-zu-Signal Verhältnis im oberen Intensitätsbereich sind komplexere und somit parameterreiche Segmentierungsmethoden oder manuelle Korrektur zur Rauschreduktion nicht notwendig. Das Ergebnis ist eine geschlossene Segmentierungsmaske der dichten Knochen im Mittelohrbereich. Allerdings sind die filigranen Knochen nicht oder nur teilweise repräsentiert, was einer Untersegmentierung entspricht. Die Segmentierungsmaske für die filigranen Knochen wird durch eine manuelle Definition des Schwellenwertes erzeugt. Eine automatische Definition des Schwellenwertes ist aufgrund des Partialvolumeneffektes in vielen Fällen nicht mög- lich. Die resultierende Segmentierungsmaske enthält die filigranen Knochenstrukturen, weist aber gleichzeitig eine Übersegmentierung im Bereich des die dichten Knochen umgebenden Gewebes auf. Abb. 1: Originaldaten (gefenstert) sowie ein Beispiel für die gekoppelte Sichten: Region-Growing der dichten Knochen, Thresholding für filigrane Knochen, zusammengeführte Segmentierungsmaske (dicht + filigran, siehe Pfeil), geklipptes Echtzeitoberflächengitter Zusammenführung: Die untersegmentierte Maske MU der dichten Knochen sowie die übersegmentierte Maske MO der filigranen Knochen müssen zu einer einheitlichen Segmentierungsmaske MC kombiniert werden. Zu diesem Zweck wird eine weitere, ebenfalls gekoppelte Sicht zur Abbildung der zusammengeführten Segmentierungsmaske MC bereitgestellt. Initial entspricht MC der untersegmentierten Maske MU der dichten Knochen. Mithilfe einer manuell in die aktuelle Schicht eingezeichneten, geschlossenen Kontur kann ein Bereich definiert werden, in dem die MU durch MO ersetzt wer- den soll. Dadurch kann der Anwender erreichen, dass nur die korrekt segmentierten Teile der generell übersegmentierten Maske MO der filigranen Knochen in die finale Segmentierung einfließen (siehe Abb. 1). Die Konturen müssen nicht in jeder Schicht eingezeichnet werden, da es die Möglichkeit gibt, linear zwischen einzelnen Konturen zu interpolieren. 12 Visuelles Echtzeitfeedback: Neben den drei gekoppelten Sichten auf die aktuell ausgewählte Schicht werden zwei wei- tere Sichten angeboten, um die komplexe Form der zusammengefassten Segmentierungsmaske erfassen zu können. Die erste Sicht bietet ebenfalls eine 2D-Sicht auf die Schichtdaten, allerdings wird der CT-Bildstapel entlang einer frei ro- tier- und transformierbaren Ebene geschnitten und abgebildet. Somit kann die Segmentierungsmaske auch abweichend von den Standardausrichtungen Transversal, Saggital und Frontal visuell inspiziert werden. Diese Sicht wird genutzt, um die korrekte Segmentierung knöcherner Landmarken, wie z.B. dem Steigbügel zu überprüfen. Um einen direkten Eindruck des Oberflächengitters zu erhalten, auf dessen Basis das künstliche Felsenbeinpräparat her- gestellt werden soll, wird ausgehende von den gewählten Schwellenwerten in Echtzeit ein Oberflächengitter erzeugt. Somit kann schon während der Festlegung der Schwellenwerte live überprüft werden, ob alle knöchernen Landmarken korrekte im polygonalen Oberflächengitter repräsentiert werden. Der Marching-Cubes Algorithmus dient zur Erzeugung von Oberflächengittern aus Bilddaten auf Basis eines Schwel- lenwertes. Dazu wird der Datensatz zellenweise abgetastet und für jede Zelle, je nachdem, ob Eckpunkte der Zelle über bzw. unter dem Schwellenwert liegen, mittels trilinearer Interpolation Dreiecke erzeugt. Die resultierende Oberfläche kann aus mehreren Millionen Dreiecken bestehen. Um nach einer Anpassung des Schwellenwertes sofort eine neue, der- art komplexe, Oberfläche erzeugen zu können, wird der Marching-Cubes Algorithmus massiv parallelisiert auf der Gra- fikkarte ausgeführt. Um auch innenliegende Strukturen inspizieren zu können, kann orthogonal zur aktuellen Blickrich- tung auf das Oberflächengitter eine Clipping-Ebene erzeugt werden. Diese kann entlang ihrer Normalen durch das Gitter geführt werden. Während dieses Vorgangs kann die Blickrichtung frei gewechselt und die freigelegten Strukturen ent- sprechend inspiziert werden, ohne dass dies die Ausrichtung der Clipping-Ebene ändert (siehe Abb. 1). 3 Ergebnisse Das in Abschnitt 2 beschriebene Vorgehen zur Segmentierung der Felsenbein-Schichtbilder wurde prototypisch in Me- VisLab realisiert. Der Workflow ist folgendermaßen aufgebaut (siehe Abb. 2): Nachdem die von der CT-Workstation stammenden Schichtbilder zu einem Bildstapel zusammengefasst wurden, wird zuerst der Schwellenwert für die dichten Knochen und danach derjenige für die feinen Knochen manuell festgelegt. Die resultierenden Segmentierungsmasken können direkt in den Schichten, über eine frei transformierte Schnittebene durch den Bildstapel sowie im echtzeitgene- rierten Oberflächengitter inspiziert werden. Alle Ansichten sind gekoppelt, so dass eine Veränderung der Schwellenwerte sich sowohl beim farbigen Overlay in den 2D-Ansichten als auch im Oberflächengitter sofort widerspiegelt. Somit ist eine sukzessive Anpassung der Schwellenwerte mit kontinuierlicher Ergebniskontrolle möglich. Abb. 2: Workflow für die duale Segmentierung von CT-Felsenbein-Datensätzen Selbiges gilt für den nächsten Schritt des Workflows, der manuellen Zusammenführung der beiden Segmentierungsmas- ken. Sobald eine Kontur eingezeichnet wurde, wird automatisch zwischen dieser und den bisher eingezeichneten Kontu- ren interpoliert und die finale Segmentierungsmaske passt sich sofort an. Diese wird ebenfalls durch ein farbiges Over- lay in den Schichtbildern repräsentiert. Im letzten Schritt des Workflows wird die Segmentierungsmaske mittels des Marching-Cubes Algorithmus in ein Ober- flächengitter überführt, das nun sowohl die filigranen als auch die dichten Knochenstrukturen enthält. Dieses Oberflä- chengitter wird an den Prototyping-Prozess übergeben. Trotz der deutlicher Unterschiede der Intensitätsverteilungen in den vier verarbeiteten Datensätzen, konnten sowohl die Präparat- als auch die Probandenaufnahmen erfolgreich mit dem oben beschriebenen Workflow segmentiert und in ein für die Weiterverarbeitung geeignetes Oberflächengitter überführt werden. Die ebenfalls Marching-Cubes basierte Echtzeit-Generierung der Oberflächengitter für die Überprüfung der Schwellen- werte wurde mit CUDA umgesetzt. Je nach Wahl des Schwellenwertes umfassen die resultierenden Gitter bis zu 1.8 Mi- o. Gitterpunkte. Die Erzeugung des Gitters dauerte auf einer Mittelklasse-Grafikkarte (GeForce 9600 GT) ca. 0.6 ms, was eine flüssige Änderung der Darstellung bei manueller Anpassung des Schwellenwertes ermöglicht. 13 4 Diskussion Generelle, nicht auf die Daten angepasste Segmentierungssysteme (z.B. Mimics) erfordern oft eine manuelle, zeitauf- wändige Korrektur der Ergebnisse. Teilweise kann die für das Prototyping notwendige Qualität nicht erreicht werden. Der auf duale Segmentierung und Echtzeitfeedback basierende Workflow wurde im Vergleich dazu als effektiver bewer- tet. Eine genaue Evaluierung der Zeitersparnis und des Genauigkeitsgewinns muss allerdings in einer nachfolgenden, quantitativen Studie durchgeführt werden. Die Qualität der resultierenden Segmentierungsmasken wurde von einem HNO-Spezialisten mit langjähriger Erfahrung mit Cochlea-Implantaten und der entsprechenden Bildgebung beurteilt. Er befand sie als adäquat, um darauf basierend künstliche Felsenbein-Implantate für das Training bzw. die Operationsplanung zu erzeugen. Um für Trainingszwecke nutzbar zu sein, wurde besonderen Wert darauf gelegt, dass die äußere Begrenzung der Segmentierung keine Löcher aufweist, was einen unerwünschten Einblick in das Felsenbein ermöglichen würde. Bezüglich der filigranen Strukturen musste der Hohlraum der Cochlea sowie der Steigbügel als Landmarke korrekt segmentiert sein. Weiterhin sollten mög- lichst viele der Hohlraumstrukturen im Knochen repräsentiert sein, um ein korrektes haptisches Feedback beim simulier- ten Eingriff zu gewährleisten. All diese Anforderungen konnten mit dem oben beschriebenen Segmentierungsverfahren erfüllt werden. Der manuelle Aufwand bei der Segmentierung wurde als angemessen bewertet. Die Einstellung der Schwellenwerte mithilfe von Slidern ist intuitiv und das direkte visuelle Feedback in allen gekoppelten Sichten wurde positiv bewertet. Das lokale Zusammenführen der beiden Zwischensegmentierungen mithilfe von einzuzeichnenden Konturen wurde mit erhöhtem aber immer noch vertretbarem Aufwand bewertet. Dies liegt zum einen daran, dass zwi- schen einzelnen Konturen interpoliert werden kann und zum anderen daran, dass die Konturen genutzt werden, um die filigranen Knochenbereichen zu umgrenzen. Deren Anteil liegt aufgrund anatomischer Gegebenheiten im Felsenbein bei nur ca. 20%. Auch in diesem Workflow-Schritt wurde das direkte visuelle Feedback über den aktuellen Zustand der zu- sammengeführten Segmentierungsmaske positiv bewertet. Allerdings wurde in diesem Zusammenhang angemerkt, dass es für die Fehlervermeidung sehr wichtig ist, deutlich her- vorzuheben, welches visuelle Feedback zu welchem Teilschritt der Pipeline gehört. In der aktuellen, prototypischen MeVisLab-Implementierung ist diese noch nicht konsequent umgesetzt, da vor allem die Erprobung und Verfeinerung des Workflows im Vordergrund stand. Die aktuelle CUDA-Implementierung der Echtzeit-Generierung der Oberflächen- modelle muss ebenfalls angepasst werden. Um eine flüssige Darstellungsänderung bei Änderung eines Schwellenwertes zu gewährleisten, muss der gesamten Datensatz auf die Grafikkarte geladen werden. Bei einer Standard-Grafikkarte mit 1GB Speicher kann ein Datensatz bis zu einer Größe von 256x256x256 verarbeitet werden. Bei hochauflösenden Fel- senbeinscans ist mit einer höheren Auflösung zu rechnen. Neben dem Einsatz eines reduzierten Datensatzes für das visu- elle Feedback wird aktuell die Anwendung einer definierten Region-of-Interest diskutiert, so dass die Oberflächengitter nur für bestimmte, als relevant definierte Abschnitte des Datensatzes in Echtzeit erzeugt werden. Die restlichen Gitterbereiche könnten dann bei Bedarf mit einem nicht-beschleunigten Marching-Cubes zeitlich verzögert bereitgestellt werden. Der hier vorgestellte Workflow sowie die diskutierten Interface- und algorithmischen Anpassungen sollen im weiteren Verlauf in einen aktualisierten, für den praktischen Einsatz geeigneten Software-Client überführt (Dornheim Segmenter – www.dornheim-medical-images.de) und für den Bau von künstlichen Felsenbeinpräparaten genutzt werden. In diesem Zusammenhang wird sich zeigen, ob und welche weiteren Anpassungen des Workflows notwendig sind, um gezielt auf sich eventuell ergebende, spezielle Anforderungen des Herstellungsprozesses mittels Prototyping einzugehen. 5 Referenzen [1] Fayad, G. und Elmiyeh, B.: “Cochlear Implant“, Artificial Organs: New Techniques in Surgery, Volume 4, 133- 136, 2009. [2] Hahne, C.; Scheffler, M.; Vorwerk, U. et al.: “Zum Problem der Erfassung und Bewertung biomechanischer Ei- genschaften von Operationsmodelle (anatomischen Faksimilemodellen) bei Cochlear- Implant-Operationen“, Proceeding of Computer- und Roboterassistierte Chirurgie (CURAC), 139-142, 2011. [3] Petersik, A., Pflesser, B.; Tiede, U.; Höhne, K.H. und Leuwer, R.: “Realistic Haptic Interaction in Volume Sculpting for Surgery Simulation.“, Proceeding of Surgery Simulation and Soft Tissue Modeling (IS4TM), 194- 202, 2003. [4] Vorwerk, U.; Hahne, C.; H.; Skalej, M. et al.: “Operationsmodelle des menschlichen Felsenbeins zur Vorberei- tung auf Cochlear-Implant-Operationen“, Proceeding of Computer- und Roboterassistierte Chirurgie (CURAC), 135-138, 2011. [5] Wilson, B.S. und Dorman, M.F.: “Cochlear implants: current designs and future possibilities“, Journal of Reha- bilitation Research and Development (JRRD), Volume 45 (5), 695-730, 2008.