Neue VR- und AR- Umgebungen zur Therapie von Phantomphänomenen

Abstract

Phantomschmerz ist eine Empfindung, die häufig nach Amputationen auftritt. Benutzen einseitig armamputierte Patienten eine myoelektrische Prothese, wird dieser seltener empfunden. Durch ein sogenanntes Spiegeltraining kann die Auftrittshäufigkeit zusätzlich reduziert werden. Zwei hierfür entwickelte Systeme werden vorgestellt: Ein neuartiges Heimtrainingssystem auf Basis von Immersive Augmented Reality (AR) zur Therapie von Phantomschmerz, sowie ein Virtual Reality (VR) System, mit welchem durch das Training hervorgerufene Veränderungen im primären somatosensorischen Cortex, welche in Zusammenhang mit dem Phantomschmerz stehen, während einer funktionalen Magnetresonanztomografie (fMRT) überprüft werden können. Die Systeme sind u. A. zum Einsatz in einer vergleichenden Studie bestimmt.

Problem

Für die Überprüfung des Effekts von langfristigem AR-Heimtraining in Kombination mit dem Tragen einer myoelektrischen Prothese im MRT wurde ein VR System entwickelt, das ohne elektromagnetische Teile auskommt, um die Messung von Hirnströmen während des Spiegeltrainings zu ermöglichen. Die Anforderungen an ein solches System, sowie dessen Spezifikationen und Erfahrungswerte über den Einsatz von VR in der fMRT, werden in [ 10 ] beschrieben. 2

Methoden

VR-System für den Einsatz im MRT

Für die Untersuchung der Hirnaktivierungen mittels funktioneller MRT wurde ein VR-System, bestehend aus einem Datenhandschuh mit Sensoren aus Lichtwellenleitern und Interface, einem lichtwellenleiterbasierten Head Mounted Diplay (HMD) und einem PC mit Simulationssoftware1 speziell entwickelt. Ein im Tomographen liegender Patient kann mit in eine virtuelle Umgebung eintauchen und ein einfaches Handmodell seiner amputierten Hand mit seiner verbliebenen Hand steuern. Da in den MRT keine magnetischen Teile eingebracht werden dürfen, musste ein Datenhandschuh aus Abb. 1: Spannungsverlauf des Winkelsensors nichtleitenden bzw. nicht magnetischen Teilen entwickelt werden, der eine Auflösung von 10 Bit erreicht. Es existieren einige wenige bestehende Lösungen, wie etwa die in [ 10 ] verwendeten Systeme, diese sind jedoch kostenintesnsiv, unflexibel und weisen geringe Sensorauflösungen auf. Als Sensorprinzip wurde hier deshalb ein optischer Winkelsensor mit Lichtwellenleitern gewählt [ 8 ]. Da normale POF-Leiter (plastic optical fibre) hierfür zu dick sind, wurde ein Sensor mit einem POF-Leiter mit 1 mm Außendurchmesser und einem Kerndurchmesser von 0.5mm entwickelt. Von diesem Kern wurden einseitig 15% abgetragen, um so an dieser Stelle austretendes Licht messen zu können, was direkt auf den Grad der Biegung des Sensors schließen lässt. Der Lichtwellenleiter wurde auf der Rückseite eines Klettbandes in UForm platziert, wobei sowohl der Sensoreingang als auch der Sensorausgang auf einer Seite liegen, was eine flexible Sensorplatzierung ermöglicht. Anschließend wurde der Sensor mit Silikon umhüllt. Da im MRT nur eine Faustbewegung realisiert werden sollte, ist es ausreichend, für jeden Finger einen Sensor am Fingermittelgelenk sowie einen am Fingergrundgelenk zu platzieren. Auf diese Weise ließ sich eine Faustbewegung genau detektieren (siehe Abb. 1).

Für die visuelle Darstellung wurde eine virtuelle 3D-Umgebung (siehe Abb. 2) mit KISMET erstellt. Ein statisches 3D-Modell der linken Hand wird mit der Methode der Skeletal Animation in Echtzeit geometrisch verformt und zusammen mit einer gespiegelten Kopie visualisiert. Die hierarchisch angeordneten Modell-Transformationsmatrizen, die zur Interpolation der geometrischen Deformation des Oberflächennetzes dienen, werden mit Hilfe der Sensordaten über das KFF (Kismet Force Feedback) in Echtzeit aktualisiert. Das Modell ist in der Lage, Abb. 2: Visualisierung der Fingerbewegungen alle Fingergelenke separat anzusteuern, für die Aufgabenstellung im MRT als VR-Umgebung wurden jedoch mehrere Fingergelenkwinkel gleichgeschaltet.

AR-System für regelmäßiges Training

Für die Erforschung der Trainingseffekte auf den Phantomschmerz wurde ein Heim-Trainingssystem entworfen. Um ein hohes Maß an Immersion und subjektiver Realitätstreue, sowie eine maximale Identifikation mit der gespiegelten Ersatzhand zu erreichen, wird hier ein kamerabasierter AR-Ansatz verfolgt. Ein wichtiger Vorteil gegenüber VR-Systemen mit ähnlichem Einsatzbereich liegt darin, dass hier auf einen Datenhandschuh verzichtet werden kann und damit haptisches Feedback vermieden wird, das ansonsten von der visuellen Illusion ablenken kann. Die dreidimensionale Darstellung der gewohnten Umgebung der Probanden soll durch Video See-Through mit zusätzlicher Einblendung der segmentierten eigenen, mit Bildverarbeitungsmethoden gespiegelten Hand (siehe Abb. 3) und gegebenenfalls weiteren virtuellen Objekten realisiert werden.

Dazu wurde eine Stereo See-Through Einheit entwickelt, die gegenüber verfügbaren Systemen hinsichtlich der Einstellbarkeit des Vergenzwinkels und des Augenabstandes, der Schnittstelle und des Datentransports flexibler konfigurierbar 1 Die KISMET 3D-Simulation Software, siehe http://www-kismet.iai.fzk.de ist. Es besteht aus einem Stereokamerasystem, welches auf einem binokularen und im Gegensatz zum oben vorgestellten VR-System stereoskopiefähigen handelsüblichen HMD angebracht ist. Die verbesserte räumliche Wirkung führt zu einem höheren Immersionsgrad, wobei ein möglichst großes Sichtfeld2 (engl. Field of View, kurz FOV) [ 9 ], im Idealfall das des Menschen, angestrebt werden sollte. Die Optik des verwendeten HMD nutzt ein Prisma pro Auge, um das Licht mit größtmöglichem Blickwinkel zu streuen, wodurch ein horizontales FOV von 32° bei 800x600 Bildpunkten erreicht wird. Das anamorphe Design der Kunststoffoptik korrigiert außerdem geometrische Verzerrungen und Aberrationen. Zur Anzeige werden flimmerfreie OLED-Displays (organic light-emitting diodes) verwendet. Für den ersten Prototyp wurden die Kameras auf dem HMD auf einer speziellen Halterung aus Kunststoff montiert (siehe Abb. 5). Dabei wurden die Kameras in einem Abstand von 65 mm angebracht, was dem mittleren Augenabstand des Menschen entspricht. Das FOV sollte dabei für Kamera und HMD übereinstimmen, um eine natürlich wirkende, stereoskopische 3D-Rezeption zu ermöglichen. Um größtmögliche Flexibilität beim Einsatz der Kameras zu gewährleisten, wurde das Video See-Through System so aus kommerziellen Komponenten aufgebaut, dass diese bei Bedarf einzeln durch höherwertige austauschbar sind. Die aktuell verwendeten Komponenten erfüllen die Mindestanforderungen bezüglich des Einsatzzwecks hinsichtlich Auflösung und FOV und erlauben gleichzeitig ausreichend hohe Frameraten. Die genutzte Auflösung der 1,3MP Kameras ist momentan an die Maximalauflösung des HMDs angepasst.

Die über den USB-Bus eingelesenen Bilddaten des Stereokamerasystems werden von einem PC verarbeitet, mittels speziell entwickelter Bildverarbeitungssoftware um virtuelle Elemente erweitert und über das HMD als stereoskopische Projektion ausgegeben.

Für eine photogrammetrische Auswertung der Kamerabilder ist eine optische Entzerrung der Bilder notwendig. Hierzu muss einmalig eine geometrische Kalibrierung der Kameras durchgeführt werden, deren Resultat gespeichert und für weitere Sitzungen verwendet wird.

Bevor das System in eine Echtzeit-Verarbeitungsphase übergehen kann, in welcher laufend Kamerabilder verarbeitet und angezeigt werden, muss eine Offline-Phase zur Kalibrierung und Parametrisierung des AR-Systems durchlaufen werden. Diese umfasst das individuelle Einstellen des HMDs, eine halbautomatische Einstellung der Kameraparameter, sowie eine halbautomatische Einstellung der zu segmentierenden Farbbereiche für die Hand und gegebenenfalls weitere zu segmentierende Objekte.

Für die Bestimmung der Farbbereiche werden Differenzbilder genutzt, welche aus Paaren von Hintergrund- und Objektaufnahmen gebildet werden. An Stellen mit starker Differenz, also dort, wo sich das zu segmentierende Objekt im Bild befindet, werden jeweils Mittelwert und Standardabweichung der Farbwerte bestimmt. Durch Mittelwertbildung über alle Bildpaare wird Abb. 3: AR-Bild mit gespiegelter linker der anschließend zur Segmentierung verwendete Farbbereich ermittelt, wo- Hand (rechts auf Tastatur) bei Bilder des Objektes in verschiedenen Orientierungen Verwendung finden sollten. Um eine intuitive Nutzung des Systems zu gewährleisten, erfolgt die Festlegung der zu segmentierenden Farbbereiche innerhalb des HSV (Hue, Saturation, Value) -Farbraums, in welchem eine weitgehend beleuchtungsinvariante Festlegung von Farbbereichen innerhalb des HueKanals möglich ist (vgl. [ 11 ]). Dies hat jedoch nach [ 12 ] keinen Einfluss auf die Güte des optimalen Hautklassifikators, welcher für jeden Farbraum gefunden werden kann. Der HSV-Farbraum verwendet ein polares Koordinatensystem, wobei die Chrominanz theoretisch kontinuierlich ausgelegt ist. Die Repräsentation von Bildmaterial erfolgt jedoch, ähnlich wie bei RGB-Bildern, meist durch drei Kanäle mit je 8-Bit Auflösung, wodurch die farbliche Kontinuität verlorengeht und auf ein Intervall [0,180] abgebildet wird. Um trotzdem Bereiche des Farbkontinuums nutzen zu können, welche die Intervallgrenzen überschreiten, wird hier der Farbraum so „gefaltet“, dass der gewünschte Bereich innerhalb der neuen Intervallgrenzen Abb. 4: Visualisierung des 2Dliegt. Bei der Rückführung ergeben sich zwei Teilbereiche, welche dann für Handmodells die Segmentierung verwendet werden können.

Die ermittelten Farbbereiche werden gespeichert und können für zukünftige Sitzungen desselben Patienten verwendet werden, solange sich die Beleuchtungsverhältnisse nicht signifikant ändern. Es können auch Profile für unterschiedliche Szenarien erstellt und geladen werden, welche alle Kalibrierungsparameter enthalten, so dass die Kalibrierungsphase für häufig vorkommende Szenarien entfallen kann.

In der nachfolgenden Online-Phase werden die Kamerabilder sequentiell ausgewertet und aufbereitet. 2 Das Sichtfeld wird hier als horizontaler Winkel angegeben, welcher beim Menschen ca. 180° beträgt. Bildverarbeitungsschritte: - Stereo-synchronisierte Bildaquisition - Bildentzerrung und Bestimmung der Kamerapose3 - farbbasierte Bestimmung der Konturen gesuchter Objekte (z.B. Hand) - Segmentierung und Klassifizierung gesuchter Objekte, Maskenerstellung - Überlagerung des Originalbildes mit virtuellen Objekten - Überlagerung des Bildes mit gespiegelter Hand und maskierten Objekten - Stereoskopische Aufbereitung der 3D-Szene und Ausgabe Auswertung der Handkontur und Handmodellierung: - Aufbau einer Baumstruktur gefundener Konturen4 - Bestimmung der Kontur mit größter Fläche5 - Berechnung von konvexer Hülle und Konvexitätsdefekten der Handkontur - Aufbau eines 2D-Handmodells6 - Plausibilitätsprüfung7 und ggf. Korrekturen - Zusammenführung beider Handmodelle zu einem 3D-Modell8 zur Interaktion mit virtuellen Objekten Der räumliche Bezug zwischen virtueller Welt und aufgenommener Umgebung ergibt sich durch Detektion passiver Marker, wodurch die relative Pose der Kameras ermittelt werden kann. Interaktionen zwischen realer Szene und virtuellen Objekten werden so durch das erzeugte 3D-Handmodell ermöglicht. 3

Ergebnisse

Ein VR-Spiegeltrainingssystem für die Überprüfung der Trainingseffekte im MRT wurde entwickelt und aufgebaut. Erste fMRT-Messungen an gesunden Probanden während der Durchführung einer Spiegelübung konnten erfolgreich durchgeführt werden, wobei die erwarteten kortikalen Aktivierungen ausgelöst wurden.

Ein Prototyp eines kamerabasierten AR-Systems für Spiegeltraining (siehe Abb. 5), bestehend aus einem stereoskopiefähigen HMD und einem Stereokamerasystem wurde aufgebaut und mit der implementierten Bildverarbeitungssoftware getestet. Damit konnte eine reale Szene mit der Patientenhand stereoskopisch aufgenommen, die Hand im Bild segmentiert und gespiegelt wieder in das Bild eingefügt werden (Abb. 3). Durch Bildanalyseverfahren konnte eine Positionsbestimmung besonderer Bildmerkmale, wie etwa der Fingerspitzen, durchgeführt werden. Darauf aufbauend konnte ein 2D-Handmodell generiert werden, das in Abb. 4 visualisiert wurde. Die aus den beiden Kamerabildern Abb. 5: AR-Prototyp extrahierten 2D-Handmodelle konnten zu einem 3D-Modell zusammengeführt werden, das zur räumlichen Interaktion mit virtuellen Objekten für spezielle Übungen genutzt werden kann. Durch eine gleichzeitige Echtzeiterkennung passiver raumfester Marker konnte außerdem die Pose der Kameras ermittelt werden, wodurch sich eine Relation zwischen virtuellem und realem Raum ergibt. In ersten Tests konnte eine maximale Framerate von 30 Hz bei VGA-Auflösung der Kameras erreicht werden. Die HMD-Darstellung der erweiterten Realität aus der Egoperspektive wurde als flüssig und angenehm für diesen Anwendungsbereich empfunden. Ergebnisse eines langfristigen AR-Spiegeltrainings stehen noch aus. 3 Die Kamerapose (Rotation und Translation) wird relativ zu passiven Markern bestimmt, welche hier als planares Schachbrettmuster realisiert sind. 4 Hier werden Konturen, sowie Unterkonturen (z.B. Löcher), als Kettencodes hierarchisch gruppiert vorgehalten. 5 Die Kontur mit maximaler Fläche wird hier als Hand interpretiert. 6 Das zweidimensionale Handmodell enthält, neben der Handkontur und der berechneten konvexen Hülle, die Bildpositionen der gefundenen Fingerspitzen, die Positionen der Konturpunkte mit maximalem Abstand zur konvexen Hülle, sowie Angaben zu Position und Ausrichtung einer Bounding Box (siehe Abb. 3). 7 Geprüft wird die Vereinbarkeit mit heuristischen Modellannahmen, wie z.B. die Anzahl detektierter Finger, Abstände der Fingerspitzen zur Handfläche etc. 8 Die Aufstellung des 3D-Modells geschieht aufgrund der Disparität gefundener Objektpunkte und ist entsprechend ungenau. Das hier vorgestellte VR-System zeigt sich als geeignet für die benötigten fMRT-Untersuchungen und kann gegebenenfalls auch für andere Anwendungen eingesetzt werden.

Der erste Prototyp eines AR- Heimtrainers konnte erfolgreich realisiert und getestet werden. Mit dem beschriebenen System können Patienten regelmäßiges Training, in Form eines entwickelten Katalogs spezieller Übungen, selbständig durchführen, welche gezielt eine Identifikation mit der gespiegelten Hand hervorrufen sollen. Dies wird im Gegensatz zu bestehenden Systemen (z.B. [ 7 ], [ 8 ]) durch die immersive Egoperspektive, die Vermeidung haptischen Feedbacks und Interaktionsmöglichkeiten mit virtuellen Objekten erreicht. Die AR-Darstellung der Hand ermöglicht beliebige Handstellungen, da keine als Computergrafik modellierte, sondern die tatsächliche Hand eines Patienten im gespiegelten Videobild ausgeschnitten und gezeigt wird. Insgesamt zeigt sich die stereoskopische Darstellung der erweiterten Realität aus der Egoperspektive in diesem Zusammenhang als vielversprechender, neuartiger Ansatz zur Phantomschmerztherapie. Wir erwarten eine hohe Akzeptanz des AR-Systems gegenüber bestehenden Varianten, welche sich in einer hohen Nutzungshäufigkeit zeigen wird. Die AR-Software kann durch Parallelisierung und Optimierung weiter beschleunigt werden. Das Ziel sollte eine höhere Framerate von 60Hz bei einer Kameraauflösung von 800x600 im Stereobetrieb sein. Durch den Einsatz neuer, verbesserter CMOS-Sensoren mit einer von 8 auf 12Bit gesteigerten Farbauflösung ist eine Verbesserung der Handsegmentierung zu erwarten, insbesondere vor komplexen Hintergründen.

Prinzipiell ist zukünftig eine mobile bzw. in den Alltag der Patienten integrierte Nutzung des AR-Systems durch Miniaturisierung der technischen Komponenten denkbar.

Bei der nun folgenden praktischen Nutzung der beiden Systeme im Rahmen der genannten Studie wird sich herausstellen, welche weiteren Modifikationen für einen Routineeinsatz notwendig sind. Darüber hinaus wird geprüft werden, welche technischen Parameter, wie z.B. zeitliche Verzögerung oder selektive Ausblendungen für einen gesteigerten Trainingseffekt relevant sind. 5

References

[1] JENSEN , TS. ; KREBS, B. ; NIELSEN , J. ; RASMUSSEN , P. : Immediate and long-term phantom limb pain in amputees: incidence, clinical characteristics and relationship to pre-amputation limb pain . In: Pain ( 1983 ), Nr. 21, S. 267 - 278

[2] ELBERT , T. ; FLOR, H. ; BIRBAUMER, N. ; KNECHT , S. ; HAMPSON, S. ; LARBIG, W. ; TAUB, E.: Extensive reorganization of the somatosensory cortex in adult humans after nervous system injury . In: NeuroReport ( 1994 ), Nr . 5, S. 2593- 2597

[3] FLOR , H.. ; ELBERT, T. ; KNECHT, S. ; WIENBRUCH, C. ; PANTEV , C. _; BIRBAUMER, N. ; LARBIG , W. ; TAUB, E.: Phantom-limb pain as a perceptual correlate of cortical reorganization following arm amputation . In: Nature ( 1995 ), Nr. 375, S. 482 - 484

[4] LOTZE , M. ; GRODD, W. ; BIRBAUMER, N. ; ERB , M. ; HUSE , E. ; FLOR, H.: Does use of a myoelectric prothesis reduce cortical reorganization and phantom limb pain? In: Nat Neuroscience ( 1999 ), Nr . 2, S. 501- 502

[5] CHAN , BL. ; WITT, R. ; CHARROW, A. P. ; MAGEE, A. ; HOWARD , R.: PASQUINA, PF. ; HEILMAN, K. M. ; TSAO , J. W.: Mirror therapy for phantom limb pain . In: N Engl J Med ( 2007 ), Nr. 357, S. 2206 - 2207

[6] MURRAY , C. D. ; PETTIFER, S. ; HOWARD, T. ; PATCHICK , E. L. ; CAILLETTE , F. ; KULKARNI , J. ; BAMFORD, C. : The treatment of phantom limb pain using immersive virtual reality . In: Three case studies Disability and Rehabilitation ( 2007 ), Nr. 29 ( 18 ), S. 1465 - 1469

[7] O 'NEILL , K. , DE PAOR , A. , MACLACHLAN , M. , MCDARBY , G. : An Investigation into the Performance of Augmented Reality for Use in the Treatment of Phantom Limb Pain in Amputees . In: 7th European Conference for the Advancement of Assistive Technology in Europe , Dublin, Ireland, September 1- 3 , 2003

[8] EYNARD , L., MEYER A., BOUAKAZ S.: Virtual arm for the phantom pain therapy , International Conference on Machine Intelligence (ACIDCA-ICMI) , Nov . 2005

[9] DIERS , M. ; CHRISTMANN, C. ; KOEPPE , C. ; RUR, M. ; FLOR, H.: Mirrored, imagined and executed movements differentially activate sensorimotor cortex in amputees with and without phantom limb pain . In: Pain ( 2010 ), Nr.149, S. 296 - 304

[10] BECK , L. ; WOLTER, M. ; MUNGARD, N. ; KUHLEN, T. ; STURM, W.: Combining Virtual Reality and Functional Magnetic Resonance Imaging (fMRI): Problems and Solutions . In: Lecture Notes in Computer Science , Volume 4799 , ( 2007 ), S. 335 - 348

[11] BILRO , L. ; PINTO , J. L. ; OLIVEIRA , J. ; NOGUEIRA , R.: Gait monitoring with a wearable plastic optical sensor . In: Sensors , 2008 IEEE ( 2008 ), S. 787 - 790

[12] DUH , H. B. L. ; LIN , J. J. W. ; KENYON , R. V. ; PARKER , D. E. ; FURNESS, T. A.: Effects of Field of View on Balance in an Immersive Environment . In: Proceedings of IEEE Reality ( 2001 ), Yokohama, Japan, S. 235 - 240

[13] OLIVEIRA , V. A.; CONCI , A. : Skin Detection using HSV color space . In: Sibgrapi ( 2009 ), Nr. 12

[14] ALBIOL , A. ; TORRES , L. ; DELP , E. J. : Optimum Color Spaces for Skin Detection . Politechnic University of Valencia, Spain, Politechnic University of Catalonia, Spain, Purdue University, USA, 2001