Einsatz eines Laserscanners zur markerlosen Patientenregistrierung bei einem modularen Chirurgieassistenzroboter D. Scarpin¹, H. Roth1, J. Wahrburg¹, ¹ Universität Siegen, Zentrum für Sensorsysteme, Siegen, Deutschland Kontakt: scarpin@zess.uni-siegen.de Abstract: Dieser Beitrag behandelt im Schwerpunkt die Entwicklung eines Laserscanners auf Basis eines stereovision 3D Lokalisiersystems zur intraoperativen robotergeführten Erfassung der Patientenoberfläche zur Patientenregistrierung und Navigation als Teil eines modularen Chirurgieassistenzsystems. Weiterhin wird ein eigens entwickeltes Verfahren zur schnellen Durchführung einer Hand-Auge Kalibrierung vorgestellt, mit welcher das entwickelte optische System ro- botergeführt eingesetzt werden kann. Die Verbindung des optischen Systems mit einem Roboterarm stellt hierbei eine Alternative zu den derzeitig verwendeten Methoden zur intraoperativen Registrierung dar. Schlüsselworte: Laserscanning, Hand-Auge Kalibrierung, Robotik 1 Problemstellung State of the art der Patientenregistrierung im Bereich der kraniellen Chirurgie ist die Verwendung von künstlichen Landmarken. Diese werden, vor der präoperativen Bildaufnahme, auf der Haut des Patienten aufgeklebt. Präoperativ werden diese in den aufgenommenen Bilddaten segmentiert und anschließend intraoperativ mittels eines Tastwerkzeugs in Kombination mit einem optischen System erfasst. [1] Des Weiteren existieren Verfahren, bei denen die Hautoberfläche des Patienten zur Registrierung herangezogen wird. Hierbei wird die Hautoberfläche des Patienten in den präoperativen Bildern extrahiert und intraoperativ berührungslos erfasst. Hierzu kann z.B. das Z-Touch System der Firma Brainlab verwendet werden. Eine Alternative zu diesen Methoden stellt die Verwendung des modiCAS Systems zur berührungslosen Erfassung der Patientenoberfläche zur Registrierung dar. Das modiCAS System besteht im Wesentlichen aus einer Rechnerarchitektur, einem Roboterarm und einer stationären Stereokamera [2]. Mit den bereits vorhandenen Komponenten kann die Ober- flächenabtastung realisiert werden, indem die stationäre Stereokamera durch eine kompakte Stereokamera der Firma Point Grey [3] ersetzt wird, welche an dem TCP (Tool Center Point) des vorhandenen Roboterarms befestigt wird. Die- se Stereokamera ist in der Lage, in Kombination mit einer eigenen 3D Lokalisiersoftware, planare schwarz/weiß Refe- renzgeber zu lokalisieren und kann somit zur intraoperativen Navigation verwendet werden. Gleichzeitig dient die Ka- mera als Basis für einen eigenen Laserscanner zur Erfassung der Patientenoberfläche für eine anschließende Patienten- registrierung. Hierzu wird ein Linienlasermodul mittels einer rigiden Mechanik relativ zu einer der beiden Kameras des Stereosystems befestigt und die Entfernung zwischen Kamera und der auf die Patientenoberfläche projizierten Laserli- nie mittels Triangulationsverfahren berechnet. Hierbei ist es möglich, zwischen der Nutzung des optischen Systems zur intraoperativen Navigation mittels der Stereokamera und der Nutzung als Laserscanner zur Oberflächenerfassung mit- tels Software auszuwählen. Vorteil eines solchen optischen Systems ist es, ohne weitere Zusatzkomponenten mittels des vorhandenen Roboterarms berührungslos die Patientenoberfläche für eine Patientenregistrierung zu erfassen und anschließend robotergeführt in- traoperativ Navigieren zu können. Im Vergleich zur Patientenregistrierung mittels Hautklebemarkern stehen hierbei we- sentlich mehr Datenpunkte zur Registrierung zur Verfügung, wodurch die Präzision gesteigert werden kann. Um den Laserscanner robotergeführt nutzen zu können muss im Vorfeld der Datenaufnahme eine Hand-Auge Kalibrie- rung durchgeführt werden, da das Koordinatensystem die Bewegungsrichtung des Roboterarms während der Datenauf- nahme vorgibt. Auf Basis einer schon im modiCAS System vorhandenen Kalibrierroutine wurde hierfür ebenfalls eine eigene Lösung entwickelt. Ziel dieses Beitrages ist es zu untersuchen, ob mittels des robotergeführten 2D Laserscanners hinreichend genaue 3D Punktwolken einer Patientenoberfläche erzeugt werden können, um diese anschließend zur Patientenregistrierung zu verwenden. 169 2 Material und Methoden Genauigkeitsuntersuchung des robotergeführten Laserscannings Der Messbereich für einen Laserscanner resultiert aus dem Abstand zwischen dem Linienlasermodul und der Kamera, sowie dem eingestellten Triangulationswinkel. Bei der Kalibrierung des Laserscanners ist darauf zu achten, dass der Messbereich hinreichend groß genug gewählt wird, dass keine Gefahr für den Patienten durch das robotergeführte Sys- tem besteht. Für die Versuche wurde der Laserscanner mit einem Triangulationswinkel von 30° und einem Abstand von 182mm zwi- schen der zum laserscanning verwendeten Kamera des Stereosystems, mit einer Sensorgröße von 1024x768 Pixel, und dem Linienlasermodul kalibriert. Der hieraus resultierende Messbereich des Laserscanners beginnt für diese Einstellun- gen bei 210mm vor der Kamera und endet bei 660mm vor der Kamera. Zur Unterdrückung von einfallendem Hintergrundlicht, welches die Messung verfälschen oder gänzlich unmöglich machen kann, wird ein optischer Band- passfilter verwendet, der nur Licht mit einer Wellenlänge von 650nm passieren lässt. Dies entspricht der Wellenlänge des verwendeten Linienlasermoduls. In den mit aufgesetztem Filter aufgenommenen Bildern lässt sich die auf den Pati- enten aufprojizierte Laserlinie schwellwertbasiert identifizieren. Der Laserscanner wird mittels einer Stativkupplung an dem Roboterarm befestigt und anschließend eine Hand-Auge Kalibrierung durchgeführt. Hand-Auge Kalibrierung Abbildung 1: a) Bewegungsrichtung während der b) Hand-Auge Kalibrierung zwischen TCP und Datenaufnahme Lokalisiersystem Mittels der Hand-Auge Kalibrierung wird die Transformationsmatrix zwischen den Koordinatensystemen des Laser- scanners und dem TCP des Roboterarms ermittelt (Abb. 1b). Dies ist notwendig, da der Roboterarm für die Bewegung des Laserscanners über die zu erfassende Fläche des Patienten verantwortlich ist, die Bewegungsrichtung aber durch das Koordinatensystem des Laserscanners vorgegeben wird (Abb. 1a). Durch die ermittelte Transformationsmatrix kann diese in das Robotersystem umgerechnet werden. Auf Basis einer schon im modiCAS System vorhandenen Kalibrierroutine wurde für Hand-Auge Kalibrierung eine ei- gene Lösung entwickelt, auf die hier allerdings aus Platzgründen nicht detaillierter eingegangen werden kann. Vorbereitend ist einmalig eine Abgleichbewegung des Roboterarms außerhalb des Operationssaals erforderlich, deren Ergebnis in der modiCAS Software abgespeichert wird und anschließend für jede Durchführung einer Hand-Auge Kali- brierung zur Verfügung steht. Für die Durchführung der Hand-Auge Kalibrierung wird das Kamerasystem in seiner Funktion als 3D Lokalisiersystem verwendet, da für die Kalibrierung die Verwendung von Referenzgebern erforderlich ist. Dies stellt hier kein Problem dar, da das Koordinatensystem des 3D Lokalisiersystems deckungsgleich mit dem Koordinatensystem des Laserscan- ners ist. Die eigentliche Hand-Auge Kalibrierung kann schnell (t < 2min) und unter sehr beengten Platzverhältnissen, also auch innerhalb des Operationssaals, durchgeführt werden, da hierzu keine Bewegungen des Roboterarms notwen- dig sind. 3 Ergebnisse Um die Funktionsweise und die Genauigkeit der robotergeführten Oberflächenerfassung mittels des entwickelten Sys- tems zu demonstrieren, wurden für den Versuch drei künstliche Landmarken an einem Plastikschädel befestigt. Als Landmarken wurden hierzu weiß lackierte Aluminiumkegel verwendet, die mittels einer Klebefläche aufgebracht wur- den. Diese sind in den aufgenommenen 3D Punktwolken leicht zu identifizieren und zu extrahieren. Für die Messreihen 170 wurden jeweils eine Landmarke auf den Nasenrücken, eine oberhalb der linken Augenbraue und eine and der rechten Schläfe angebracht [Abb. 2]. Anschließend wurde der Plastikschädel, mit im Gesicht aufgeklebten Landmarken, mehrfach und aus verschiedenen Beobachtungswinkeln mittels des Laserscanners abgetastet und digitalisiert. In den daraus entstandenen 3D Punktwol- ken wurden die Abstände der einzelnen Landmarken zueinander mittels der Software ermittelt und diese Ergebnisse im Anschluss mit Referenzwerten, die mittels Messschieber am Plastikschädel aufgenommenen wurden, verglichen. Die Distanz zwischen dem Laserscanner und dem Plastikschädel betrug bei den Messreihen ca. 400mm. Die Ergebnisse der aus der Software ermittelten Abstände der Landmarken zueinander und Gegenüberstellung mit den manuell aufgenommenen Referenzwerten sind in Tabelle 1 dargestellt. Nach mehrmaliger Durchführung des Laserscans aus verschiedenen, zufällig gewählten Beobachtungswinkeln zu dem mit den künstlichen Landmarken versehenen Plastikschädels kamen folgende Resultate zustande: Landmarken Manuelle Ab- Abstandsmessung in der 3D Punktwolke bei 5 Messreihen standsmessung 1;2 45,8 mm 45,7 mm 45,6 mm 45,8 mm 45,6 mm 45,9 mm 1;3 69,8 mm 69,4 mm 69,6 mm 69,7 mm 69,8 mm 69,9 mm 2;3 107,5 mm 107,4 mm 107,4 mm 107,5 mm 107,1 mm 107,8 mm Tabelle 1: Messergebnisse Landmarkenmessung am Plastikschädel Abbildung 2: 3D Punktwolke des Schädels mit aufgebrachten Landmarken Die erste Spalte der Tabelle mit der Bezeichnung “Landmarken“ gibt hierbei an zwischen welchen künstlichen Land- marken die Messungen durchgeführt wurden. Die Nummern repräsentieren hierbei die in Abb. 2 markierten aufgekleb- ten künstlichen Landmarken an dem Plastikschädel. Die Werte der der Spalte mit der Bezeichnung “Manuellen Ab- standsmessung“ zeigen die ermittelten Abstände zwischen den in Spalte 1 angegebenen Landmarken mittels eines handgeführten Messschiebers und dienen hierbei als Referenzmessung für die aus der Software ermittelten Abstände zwischen den künstlichen Landmarken. Als Referenzpunkte für die Abstandsmessungen wurden hierbei die Spitzen der aufgeklebten Landmarken verwendet. Im dritten Abschnitt der Tabelle werden die aus den 3D Darstellungen der aufge- nommenen Punktwolken ermittelten Abstände zwischen den jeweiligen Landmarken dargestellt. 4 Diskussion Wie in Tabelle 1 zu sehen ist, ist die maximale Abweichung zwischen den mit dem Laserscanner und den manuell er- mittelten Daten kleiner als 1mm. Ursache für die auftretenden Abweichungen zwischen den ermittelten Werten ist die Verwendung einer Vielzahl von verschiedenen Transformationsmatrizen der einzelnen Systemkomponenten. Hierbei nehmen die Transformationsmatrizen des Roboterarms und des 3D Lokalisiersystems, welches zur Hand-Auge Kali- brierung verwendet wird, Einfluss auf die Genauigkeit des anschließenden Laserscans. Eine weitere Ursache für Ab- weichungen kann eine Messungenauigkeit des Laserscanners, sowie die Synchronisation zwischen den Positionsdaten 171 des Roboterarms und den vom Laserscanner aufgenommenen Datensätzen sein. Derzeit liegt der Fokus der Arbeit da- rauf, diese Fehlerquellen zu minimieren um die Präzision des Gesamtsystems zu erhöhen. Parallel dazu werden Testreihen durchgeführt um zu ermitteln wie genau sich reale Haut erfassen lässt. Dazu wurden Probanden mittels des Laserscanners erfasst um den Einfluss verschiedener Hautfarben, sowie verschiedener Hauttypen zu untersuchen. An einem Verfahren zur Genauigkeitsmessung an realen Testpersonen wird noch gearbeitet, da sich herausgestellt hat, dass die Verwendung von aufgeklebten künstlichen Landmarken hierzu, wie in diesem Beitrag be- schrieben, durch den Skinshift an der Testperson sehr schwierig ist. 5 Zusammenfassung In diesem Beitrag wurde die Entwicklung eines robotergeführten optischen Systems zur intraoperativen Navigation und Erfassung der Patientenoberfläche zur anschließenden Registrierung hier mit dem Schwerpunkt Patientenregistrierung vorgestellt. Anhand des beschriebenen Versuchs wurde gezeigt, dass die aus den aufgenommenen Daten des Laserscan- ners rekonstruierten 3D Punktwolken korrekt skaliert dargestellt werden und somit in weiteren Versuchen zur Patienten- registrierung mittels Surface-Matching verwendet werden können. Dieses System stellt eine Alternative zu den derzeit verwendeten Systemen zur intraoperativen Erfassung von Patien- tendaten zu Registrierung dar. In weiterführenden Arbeiten wird ein geeignetes Verfahren zum Surface-Matching zwi- schen den intraoperativ mittels des Laserscanners gewonnen Patientendaten und den aus der präoperativen Bildgebung extrahierten Patientendaten untersucht. Zusätzlich dazu wird die bessere Verzahnung des 3D Lokalisiersystems mit dem Laserscanner untersucht. 6 Referenzen [1] Eggers, G. Bild-zu-Patient-Registrierung, Computerassistierte Chirurgie, Urban & Fischer Verlag/Elsevier GmbH, 2010, pp. 191-194. [2] Wahrburg, J. (2006) Regelkonzepte für Assistenz-Roboter zur Unterstützung chirurgischer Eingriffe, Tagungs- band zum VDE-Kongress, 23.-25.8.2006, Aachen, S. 349-353 [3] Kerstein, T., Wahrburg J. (2012). Entwicklung und Aufbau eines modularen optischen 3D-Digitalisiersystems für die computergestützte Chirurgie. AUTOMED 2012, Tagungsband zum 10. Workshop für Automatisierungstech- nische Verfahren in der Medizin. Aachen, Germany 172