Interaktive medizinische 3D-Visualisierungen haben in den letzten Jahren im Bereich der Onkologie an Bedeutung gewonnen. Sie ermöglichen dem Chirurgen die präoperative Analyse von Risikostrukturen und tragen damit zur Sicherheit beim operativen Eingriff bei. In diesem Beitrag wird ein automatisch generierbares und interaktives Befunddokument für die Verlaufskontrolle und Operationsplanung von Lungentumoren vorgestellt. Die Umsetzung des Reports erfolgt auf Basis der ADOBE 3D-PDF-Technologie. Problemangepasste Visualisierungstechniken und mögliche Szenarien zum klinischen Einsatz dieser neuartigen Technologie werden präsentiert. 3D-PDF-Reports ermöglichen die flexible und portable Bereitstellung von Befundergebnissen sowie die 3D-Visualisierung von komplexen anatomischen und pathologischen Strukturen. Die Technologie lässt sich nahtlos in den gewohnten klinischen Workflow eines Radiologen und Chirurgen integrieren. Die computerassistierte chirurgische Planung von Tumorresektionen ermöglicht die präoperative Einschätzung räumlicher Lage- und Größenbeziehungen zwischen Organen, Tumoren und Gefäßen. Im Bereich der Leberresektionsplanung und der Leberlebendspende sind computergestützte Planungssysteme für die Beurteilung der Resektabilität und der Abschätzung des funktionellen Lebervolumens bereits etabliert [1] [2]. Die softwareassistierte Lungentherapieplanung ist dagegen ein noch junges Anwendungsgebiet. Viele Patienten entwickeln im Verlauf einer Tumorerkrankung pulmonale Metastasen, die oft erst spät diagnostiziert und therapiert werden. Die Diagnose und Therapie von Lungentumoren erfordert ein interdisziplinäres Zusammenspiel zwischen Radiologen, Internisten und Chirurgen. Der radiologische Befundbericht ist dabei eine wichtige Grundlage eines jeden Therapiekonzeptes. Typische Befunde sind jedoch oft im Fließtext formulierte, wenig strukturierte und statische Reports. Sie enthalten meist keine Bilder oder Annotationen, die den Textbefund visuell untermauern und verständlicher machen würden. Nach Reiner und Siegel [3] können annotierte Befundberichte auf Seiten des behandelnden Arztes maßgeblich dazu beitragen, den Report sowie dessen Beurteilung besser zu verstehen. Um Wachstumsänderungen von Lungentumoren frühzeitig zu dokumentieren und die Behandlungsstrategie ggf. ändern zu können, wurde in [4] eine Software vorgestellt, die eine robuste und reproduzierbare Segmentierung und Volumetrie von Lungentumoren und Lymphknotenmetastasen ermöglicht. Darauf aufbauend wurde in [5] eine Web-Applikation entwickelt, mit der die von der Software hervorgehobenen Tumore und umliegenden Risikostrukturen in Form von aufbereiteten Bildern online angeschaut und kommentiert werden können. Interaktiv manipulierbare 3DDarstellungen kommen dabei nicht zum Einsatz. Vor allem Chirurgen profitieren jedoch sehr von der dreidimensionalen Repräsentation der anatomischen Gegebenheiten des Patienten. Limmer et al. [6] bestätigen, dass interaktive 3DVisualisierungen der Lungenstrukturen die Entscheidungsfindung des Thoraxchirurgen bzgl. eines optimalen Zugangsweges und der Operationsstrategie maßgeblich beeinflussen können. In diesem Beitrag wird ein automatisch generierbarer interaktiver Report auf Basis der ADOBE 3D-PDF-Technologie vorgestellt. In der Leberchirurgie sind onkologische Reports auf Basis des PDF-Formats bereits erfolgreich erprobt worden. Der von MEVIS DISTANT SERVICES [www.mevis.de] angebotene Dienstleistungsservice wird weltweit von über 150 klinischen Partnern für die präoperative Planung eingesetzt. Ruthensteiner und Heß [7] haben diese Technik für die 3D-Visualisierung von histologischen Schnittserien erprobt. Im Bereich der Onkologie existieren jedoch bisher keine wissenschaftlichen Veröffentlichungen zum Einsatz der PDF-Technologie. Zielsetzung dieses Beitrages ist der effektive Austausch von Befunddaten zwischen den beteiligten Fachärzten sowie die Planung chirurgischer Eingriffe an der Lunge mit Hilfe des interaktiven 3D-PDFs. Die nahtlose Integration in den gewohnten klinischen Workflow eines Radiologen und Chirurgen sowie die ubiquitäre Bereitstellung medizinischer 3D-Visualisierungen stehen im Vordergrund dieses Beitrages.
2
Die benutzerzentrierte Software-Entwicklung erfordert die frühzeitige Integration der zukünftigen Anwender in die Konzeption. Der Prototyp ist in enger Zusammenarbeit mit einem Radiologen und zwei einschlägig spezialisierten Chirurgen entstanden. Beobachtungen bei Hospitationen sowie Gespräche mit weiteren medizinischen Experten ergaben ein genaues Bild des Ist-Zustandes bei der Befundung und Operationsplanung von Lungentumoren. Basierend auf den Empfehlungen für chirurgische Systementwicklungen von Cordes et al. [8] sind in szenariohaften Beschreibungen der klinischen Abläufe die Anforderungen und Präferenzen der Endanwender an das neue System diskutiert und validiert worden. Im Folgenden werden die Vorzüge der 3D-PDF-Technologie, der Workflow bei der Reportgenerierung sowie das Visualisierungs- und Interaktionskonzept erläutert.
Die Technologie: Adobe 3D-PDF. Ein PDF (Portable Document Format)-Dokument kann verschiedene Inhalte, wie Texte, Bilder, Videos und Musik enthalten und diese genauso wie im Ursprungsformat originalgetreu wiedergeben. Dadurch ist es zum Standardaustauschformat für Dokumente aller Art geworden und kann plattformunabhängig mit dem kostenlosen ADOBE READER dargestellt werden. Seit der PDF-Version 1.7 können interaktive Flash-Animationen und 3D-Modelle in ein PDF integriert und mit dem ADOBE READER (Version ≥ 9.0) dargestellt werden. Die 3D-Modelle müssen dazu im U3D-Format vorliegen. U3D ist ein universelles und standardisiertes Dateiformat für dreidimensionale Daten und wurde bisher v. a. in Verbindung mit PDF in industriellen Applikationen eingesetzt. Im medizinischen Anwendungskontext besteht der größte Vorteil der 3D-PDF-Technologie darin, komplexe medizinische 3D-Darstellungen von anatomischen und pathologischen Gegebenheiten mit Standardhardware explorieren zu können. Außer einer aktuellen Version des ADOBE READERS sind keinerlei weitere Plugins notwendig.
Workflow der PDF-Generierung. Die Thorax-CT-Schichtdaten bilden die Grundlage für die 2D- und 3DVisualisierungen. Mit Hilfe eines Softwareprototyps, basierend auf der Bildverarbeitungs- und Visualisierungssoftware MEVISLAB [www.mevislab.de], identifiziert der Radiologe mit wenigen Klicks die darzustellenden Lungenstrukturen. Die Software ermöglicht dem Arzt die semi-automatische Segmentierung, Quantifizierung und Visualisierung der betreffenden Strukturen. In den Fällen, in denen die automatische Segmentierung versagt hat, werden dem Anwender interaktive Korrekturmöglichkeiten zur Verfügung gestellt. Die Segmentierungen werden anschließend automatisch in farbige 3D-Oberflächenmodelle überführt. Zusätzlich zur 3D-Darstellung erzeugt die Applikation automatisch pro Lungenläsion drei 2D-Visualisierungen des Segmentierungsergebnisses in den drei Standardblickrichtungen (axial, sagittal, coronal). Die 2D-Darstellungen und 3D-Modelle werden anschließend zusammen mit der Beurteilung des Radiologen sowie den Patientendaten in ein zusammenhängendes PDF exportiert (Abb. 1, links). Dazu werden die 3D-Oberflächenmodelle automatisch in ein U3D-Format umgewandelt und in das PDF-Dokument eingebettet. Falls Informationen aus vorhergehenden Verlaufsuntersuchungen vorliegen, werden diese automatisch verarbeitet und in Form von animierten Diagrammen in das Dokument integriert. Auf Wunsch können im Anhang des PDFs weitere Dateien, z. B. Bilder oder Videos, hinzugefügt werden. Diese Dateien können später vom Anwender aus dem Dokument herausgelöst und in einem beliebigen Media-Player angezeigt werden. Nach der Generierung des interaktiven Befunddokumentes kann der Report universell eingesetzt werden, beispielsweise bei der Falldemonstration auf einem Tumorboard, für die Planung des operativen Eingriffs oder als visuelle Unterstützung beim Patientengespräch.
Visualisierungs- und Interaktionskonzept. Das in Abbildung 1 (rechts) zu sehende 3D-Modell der Lunge kann frei rotiert, verschoben und gezoomt werden. Vordefinierte Kameraansichten und Hervorhebungstechniken ermöglichen dabei die Aufmerksamkeitssteuerung in der dreidimensionalen Szene. Die Lungenlappen werden durch unterschiedliche Farben und Konturlinien voneinander separiert. Die transparente Oberflächenvisualisierung der Lappen erlaubt die Sicht auf die inneren pulmonalen Strukturen, beispielsweise Gefäße und Tumore (Abb. 2, links). Über die Benutzerschnittstelle können die 3D-Objekte selektiv ein- oder ausgeblendet werden. Große beschriftete Buttons und ein kontextsensitives Hilfesystem sollen erfahrenen als auch unerfahrenen Anwendern die Bedienung des Systems erleichtern. Ein Wizard unterstützt den Anwender dabei, die Visualisierung seinen Wünschen entsprechend anzupassen und die interaktiven Funktionen zu erlernen. In der Läsionenübersicht können einzelne Findings in einem Menü ausgewählt und deren quantitative Angaben (z. B. Durchmesser der Läsion) oder Kommentare des Radiologen abgerufen werden. Anhand einer Nummer wird jeder Rundherd eindeutig repräsentiert. Eine ausgewählte Läsion wird automatisch in der 3D-Szene visuell mit einem transparenten Würfelgitter hervorgehoben. Auf Knopfdruck kann die 3D-Szene im Vollbildmodus dargestellt und beispielsweise in mehreren Ansichten ausgedruckt werden. Die Druckfunktion und die Identifizierung anhand eindeutiger Nummern ermöglicht somit auf Wunsch auch die herkömmliche Dokumentation in gedruckter Papierform. Je nach Anwender existieren unterschiedliche Anforderungen an die Visualisierung. Drei mögliche Szenarien werden im Folgenden beschrieben. Abb. 1: Links: Falldatenzusammenfassung und Navigationsstruktur innerhalb des PDF-Reports. Rechts: Interaktives 3DModell der Lunge sowie 2D-Detaildarstellungen einer selektierten Lungenmetastase.
Präsentation / Falldiskussion. Im Rahmen eines Tumorboards muss der Fall schnell und verständlich kommuniziert werden, sodass zusammen mit den Fachkollegen ein adäquates Therapiekonzept erarbeitet werden kann. Ein Radiologe möchte zum Beispiel im Rahmen eines Tumorboards auf neu gewachsene Tumore oder andere Auffälligkeiten in den Bilddaten hinweisen. Der Arzt öffnet den in der Patientenakte hinterlegten PDF-Report mit dem auf der Workstation installierten ADOBE READER. Das 3D-Modell der Lunge wird unmittelbar geladen und steht sofort zur Verfügung. Die Läsionen werden initial in grober Kugelform einheitlich und anschaulich visualisiert. Die abstrakte Darstellung als Kugeln hat den entscheidenden Vorteil, dass keine exakten Segmentierungen vorliegen müssen, um die Läsionen dreidimensional visualisieren zu können. Stattdessen können die vom Radiologen eingezeichneten Durchmesser der Tumore als Eingabe für die Generierung von Kugel-Oberflächenmodellen genutzt werden. Um die Komplexität der 3D-Visualisierung einzuschränken und die optimale Sicht auf die Zielstrukturen zu gewährleisten, blendet der Arzt mit einem Klick alle nicht relevanten Lungenlappen aus. Falls Tumorverlaufsdaten vorliegen, können diese auf Wunsch des Arztes in dem 3D-Modell aktiviert werden. Abbildung 2 (mitte) zeigt die nach dem Ampelschema farbkodierte Darstellung des Tumorwachstums. Während rote Kugeln gewachsene Läsionen markieren, zeigen grüne Kugeln geschrumpfte Läsionen an. OP-Planung. Ein Chirurg interessiert sich darüber hinaus für Infiltrationen von Gefäßen oder Organwänden, um Entscheidungen bzgl. der Operabilität und einer geeigneten Resektionsmethode treffen zu können. Um den Detailgrad der Läsionenvisualisierung beeinflussen zu können, wird dem Arzt die Möglichkeit des semantischen Zoomens gegeben. Zoomt der Arzt mit dem Mausrad in die 3D-Szene hinein, werden die Tumore in ihrer exakten Form (basierend auf dem Segmentierungsergebnis), anstelle schematischer Kugeln, dargestellt (Abb. 2, rechts). Des Weiteren hat der Chirurg die Möglichkeit, Tumore direkt in der 3D-Szene oder über ein Auswahlmenü zu selektieren, um gezielt Maßangaben (z. B. Durchmesser und Volumina) abzurufen. Parallel zur 3D-Darstellung wird ein lokaler 2D-Ausschnitt der selektierten Läsion angezeigt. Die Segmentierungskontur wird dabei als farbiges Overlay über die ROI der Läsion gelegt und in Form einer 3x3-Bildmatrix angezeigt (Abb. 1, rechts). Die kombinierte 2D/3D-Visualisierung ermöglicht dem Arzt, den Bezug zwischen dem abstrakten 3D-Modell und den zugrunde liegenden Originalbilddaten herzustellen. So können wichtige Detailinformationen, beispielsweise Pleura- oder Gefäßinfiltrationen der Läsionen, eingeschätzt werden. Strukturiertes onkologisches Reporting. Neben den interaktiven 3D-Darstellungen enthält der PDF-Report zusätzlich eine strukturierte Tabellen- und Diagrammdarstellung über bisherige Diagnosen, radiologische Untersuchungen, Tumorstadien und Therapiemaßnahmen. Die diagnostischen und therapeutischen Entscheidungen werden dazu von den beteiligten Fachärzten in digitalen Befunden protokolliert und automatisch in das PDF exportiert. Die Beurteilungen des Radiologen sowie die animierten Diagramme ermöglichen es dem behandelnden Arzt, die gesamte Patientengeschichte lückenlos nachzuvollziehen und den Therapieerfolg visuell auf einen Blick abzuschätzen. Unsere medizinischen Partner heben den hohen Nutzen dieser strukturierten Aufbereitung gegenüber der herkömmlichen Fließtextbefundung hervor. Abb. 2: Links: Initiale 3D-Visualisierung der Lungenlappen, Aorta, Bronchien, Lungenarterien und -venen sowie der je nach Lappenlokalisation farbkodierten Lungenläsionen in Kugeldarstellung. Mitte: Selektive Darstellung des linken Unterlappens sowie der Tumorverlaufsdaten. Rechts: Semantisches Zoomen, bei dem die Tumore in ihrer exakten Form transparent abgebildet werden. 3
Die automatische Generierung des PDF-Reports wurde auf vier unterschiedlichen Patientendatensätzen technisch erfolgreich und zur Zufriedenheit der klinischen Partner getestet. Eine Evaluierung mit klinischen Partnern hat ergeben, dass der interaktive 3D-PDF-Report klare Vorteile gegenüber der herkömmlichen meist auf Schichtbilddaten basierenden Vorgehensweise bei der Planung lungenchirurgischer Eingriffe bietet. Die bisherige Identifizierung aller Rundherde innerhalb der Lunge anhand der 2D-Bilder ist mühsam und aufwändig. Im Gegensatz dazu können in der 3D-Darstellung alle Findings in ihrer exakten topographisch-anatomischen Position auf einen Blick dargestellt und interaktiv exploriert werden. Der Report unterstützt außerdem maßgeblich die Kommunikation zwischen dem Radiologen und den Therapeuten. Dank der reproduzierbaren volumetrischen Messwerte, der strukturierten Befundung sowie der farbkodierten Wachstumsmuster werden ungenaue radiologische Aussagen („mehrere Rundherde“, „diffuse Verteilung“, „gering größenprogredient“) vermieden. Bildliche Annotationen und interaktive 3D-Elemente steuern zum besseren Verständnis der radiologischen Beurteilung bei und vereinfachen die onkologische Verlaufskontrolle. Mit Hilfe des Softwareprototyps können die Segmentierungen der Lungenstrukturen vom Radiologen mit wenig Interaktionsaufwand erzeugt und automatisch in das Dokument exportiert werden. Da der Exportvorgang weitgehend automatisiert und das generierte Dokument portabel einsetzbar ist, lässt sich die vorgestellte Technologie gut in die klinische Prozesskette integrieren. Durch die direkte Verzahnung von textuellem Befund und interaktiver 3D-Visualisierung können Therapieergebnisse dem Patienten oder anderen Fachkollegen verständlich vermittelt werden. Der therapierende Arzt kann sich zusätzlich auf Knopfdruck textuelle Hinweise oder Annotationen des Radiologen anzeigen lassen. Das im Durchschnitt etwa 5–10 MB große PDF-Dokument lässt sich per E-Mail versenden oder direkt dem Patienten aushändigen. Es kann auf einem ÄrzteNotebook gespeichert und beispielsweise bei einer Falldiskussion abgerufen werden. Die geringen Hard- und SoftwareAnforderungen ermöglichen außerdem den Einsatz der 3D-Modelle im Operationssaal, wo oft nur Standard-PCs ohne Internetverbindung zur Verfügung stehen. Der Chirurg kann somit im OP anhand der 3D-Visualisierungen die präoperative Planung mit der intraoperativen Situation abgleichen. Zusätzlich bietet der PDF-Report eine Kommentarfunktion. Ein Arzt kann textuelle Annotationen frei im Dokument platzieren, persistent abspeichern und bei Bedarf wieder aufrufen. 4
Mit der Aufbereitung zusätzlicher Tumorfälle soll das Verfahren bzgl. seiner Robustheit und Automatisierbarkeit geprüft und weiterentwickelt werden. Derzeit stellt v. a. die automatische Segmentierung vergrößerter Lymphknoten und infiltrierender Tumore eine Herausforderung dar. Um dennoch nicht zweifelsfrei abgrenzbare Läsionen dreidimensional abbilden zu können, besteht die Möglichkeit, manuell eingezeichnete Durchmesser als Basis für eine Kugeldarstellung der Läsionen zu nutzen. Zusätzlich ist der Einsatz einer CAD-Software vorstellbar, um den zeitaufwändigen Detektions- und Segmentierungsprozess der Läsionen effektiv zu unterstützen. Eine weitere Herausforderung besteht in der Integration eines PDF-Dokumentes in ein handelsübliches KIS. Dateiformate wie PDF lassen sich oft nur über spezielle Plugins in die herstellerabhängigen PACS- und RIS-Systeme integrieren. Zukünftig werden PDF-Dokumente daher in ein DICOMObjekt gekapselt [http://support.dcmtk.org/docs/pdf2dcm.html]. In DICOM-Form lässt sich jedes beliebige PDF verpacken, im Klinik-IT-System verwalten und an jeder beliebigen Radiologie- oder Chirurgie-Workstation öffnen. Weitere Arbeiten konzentrieren sich auf die Umsetzung eines generischen Konzeptes, mit dem 3D-Daten beliebiger Organe visuell aufbereitet in dem Dokument eingebettet werden können. Ziel ist die Entwicklung eines vollständigen onkologischen Reports unter Einbezug weiterer Organsysteme, wie z. B. Leber, Gehirn und Skelett. Derzeit werden v. a. CTDaten als Grundlage für die Rekonstruktion genutzt. Vorstellbar ist der Einbezug weiterer Modalitäten, beispielsweise eines PET-CTs, um funktionelle Stoffwechselprozesse in dem 3D-Modell sichtbar zu machen. Darüber hinaus sind die derzeitigen Entwicklungen im Bereich webbasierter 3D-Grafiken sehr vielversprechend. Auf Basis von HTML 5 und WebGL [www.khronos.org/webgl] ist es mittlerweile möglich, interaktive 3D-Modelle ohne spezielle Plugins in einem aktuellen Webbrowser (z. B. Mozilla Firefox 4) anzuzeigen. 5
Wir danken der DFG, die Teile dieser Arbeit im Rahmen des Projektes PE 199/20-1 gefördert hat. 6