=Paper=
{{Paper
|id=Vol-1476/paper4
|storemode=property
|title=KLT Tracking zur schnellen Bewegungskorrektur auf Knochenoberflächen
|pdfUrl=https://ceur-ws.org/Vol-1476/Proceedings_CURAC_2011_Paper_4.pdf
|volume=Vol-1476
|dblpUrl=https://dblp.org/rec/conf/curac/KuleschowBWM11
}}
==KLT Tracking zur schnellen Bewegungskorrektur auf Knochenoberflächen==
https://ceur-ws.org/Vol-1476/Proceedings_CURAC_2011_Paper_4.pdf
10. CURAC-Jahrestagung, 15. - 16. September 2011, Magdeburg
KLT Tracking zur schnellen Bewegungskorrektur
auf Knochenoberflächen
A. Kuleschow¹, T. Bergen¹, T. Wittenberg¹, C. Münzenmayer¹.
¹ Fraunhofer-Institut für Integrierte Schaltungen IIS, Erlangen, Germany
Kontakt: andreas.kuleschow@iis.fraunhofer.de
Christian.Muenzenmayer@iis.fraunhofer.de
Abstract:
Der Kanade-Lucas-Tomasi (KLT) Tracker ist ein etabliertes Verfahren zur Bewegungsanalyse bzw. Bewegungskorrektur
einer Kamera auf Oberflächen. Derartige Systeme, die auf dem KLT Tracker beruhen, finden vermehrt auch in medi-
zintechnischen Szenarien ihren Einsatz. So ist die Frage wichtig, ob diese Methode auch auf relativ kontrastarmen
Oberflächen wie menschlichem Gewebe, und hier insbesondere Knochen sowie bei einer komplizierten Beleuchtung
durch z.B. eine Laserlichtquelle, funktionieren kann. Im Rahmen dieses Beitrags wurden Probleme untersucht, die unter
diesen speziellen Randbedingungen auftreten können und Lösungen zur Verbesserung der Tracking-Charakteristik vor-
geschlagen. Speziell eine geeignete Vorverarbeitung des Kamerabildes kann die Genauigkeit der Bewegungserkennung
bei der Verfolgung von Punkten unter Laserbeleuchtung von knöchernem Gewebe wesentlich verbessern.
Schlüsselworte: Neurochirurgie, Assistenzsysteme, KLT Tracker, Bewegungskorrektur, Laserbeleuchtung
1 Motivation
In jüngster Zeit werden immer neue Werkzeuge für die minimal-invasive Chirurgie vorgeschlagen bzw. entwickelt.
Speziell die Nutzung von hochenergetischen Pikosekundenlasern für das Schneiden von knöchernem Material wie dem
Schädelknochen [1,2] zum Ablösen der Kalotte bilden dabei eine interessante und spannende Forschungsrichtung. Eine
solche Ablation der Schädeldecke durch Laserstrahlpulse besitzt das Potential für wesentlich feinere und sauberere
Schnitte als herkömmliche mechanische Geräte (sog. Kraniotome) und verspricht zudem ein geringeres Verletzungsri-
siko während des Eingriffs sowie kürzere Liegedauern nach der Operation. Im Unterschied zu einem mechanischen
Kraniotom ist ein solcher Laserstrahl allerdings nicht a-priori in der Schnittfuge fixiert und kann bei unwillkürlichen
Handbewegungen des Arztes (Zittern o.ä.) vom Ziel abweichen. Solche Abweichungen können einerseits zum unge-
planten Knochenabtrag außerhalb des Fugenbereichs führen, andererseits ist die Effizienz des Laserabtrags damit deut-
lich vermindert. Als weitere Randbedingung eines solchen Systems soll sich der Laserstrahl zudem äußerst schnell und
genau bewegen, um Karbonisierung und Nekrose des Gewebes zu vermeiden. Diese technologischen Schwierigkeiten
sind bekannt und haben u.a. zur Entwicklung einer roboterunterstützten Osteotomie [3,4] geführt. Geräte, die dagegen
eine manuelle, laserbasierte Osteotomie ermöglichen, müssen unfreiwillige Handbewegungen automatisch erkennen
und geeignet kompensieren.
Als eine Möglichkeit, Abweichungen des Lasers während des Schneidens von der Schnittfuge zu erkennen, zu vermes-
sen und durch rechtzeitiges Entgegensteuern des Laserstrahls zu korrigieren, wurde ein optisches Überwachungssystem
entwickelt. Wesentliche Anforderungen dieses Systems sind die Echtzeitfähigkeit mit einer hohen Bildrate von über
100 Bilder/Sek sowie eine hohe Genauigkeit für die Korrektur des Schnittes. Da die Schnittfuge selbst als optisches
Merkmal sehr volatil und immer in Veränderung ist, muss das Messsystem natürliche Merkmale auf der Knochenober-
fläche benutzen, um Bewegungen zu erkennen und zu korrigieren. Bei der Abtragung des Knochens entwickelt sich ein
sehr starkes Plasmaleuchten, daher ist in das Bilderfassungssystem eine Diodenlaser als Lichtquelle vorgesehen. Dem-
entsprechend muss das Bildverarbeitungssystem in der Lage sein die Nachteile des Laserlichts, insbesondere das
Speckle-Rauschen, zu tolerieren.
53
10. CURAC-Jahrestagung, 15. - 16. September 2011, Magdeburg
2 Methoden
Als Basis für die Bewegungskorrektur wird ein Trackingverfahren nach Kanade-Lucas-Tomasi (KLT Tracker) einge-
setzt [5-7]. Der KLT Tracker ist für den Einsatz unter den eingangs beschriebenen Anwendungsbedingungen gut geeig-
net:
Er ist schnell, d.h. die Berechnungen für zehn und mehr Merkmale benötigen auf einem Rechner für ein Sicht-
feld von 200x200 Pixel weniger als 10 ms,
Er findet eigenständig Merkmale zum Verfolgen und ersetzt unsichere bzw. verlorene Merkmale automatisch,
Er besitzt Subpixel-Genauigkeit, und
Er verfügt über eine intrinsische Glättungsfunktion und kann auf diese Weise das Speckle-Rauschen des La-
sers deutlich reduzieren.
Das Verfahren nach Shi & Tomasi [7] wählt automatisch optimale Merkmale in einem vorgegebenen Bereich aus und
versucht diese über den Verlauf der Bildsequenz zu verfolgen. Die Grundidee dabei ist, dass nur solche Merkmale ver-
wendet werden, die sich gut verfolgen lassen. Entsprechend werden die beiden Schritte der Merkmalsselektion und der
Merkmalsverfolgung nicht als getrennte Schritte, sondern als integrativer Prozess betrachtet. Ein Merkmal wird dabei
als „gut“ betrachtet, wenn es starke Kontraste in beide Richtungen aufweist, wie sie beispielsweise an sog. „Eckpunk-
ten“ auftreten. Die Selektion der zu verfolgenden Merkmale geschieht dabei durch eine Untersuchung des kleinsten Ei-
genwertes des 2×2 Strukturtensors, der Änderungen der Intensitäten im untersuchten Bildausschnitt beschreibt. Ein po-
tentieller Kandidat für ein Merkmal wird akzeptiert, wenn der kleinste Eigenwert einen Schwellwert überschreitet und
ein Mindestabstand zu anderen Punkten eingehalten wird. Die Kandidaten für potenzielle Merkmale werden bezüglich
ihres kleinsten Eigenwerts in eine Liste sortiert, und daraus die N besten ausgewählt. Zur Bewertung von Merkmalen
einer bestimmten Position in zwei aufeinanderfolgenden Einzelbildern einer Bildsequenz wird ein Ähnlichkeitsmaß
verwendet, das auch affine Transformationen des Bildausschnittes erkennt.
Zu Testzwecken wurde ein prototypischer Aufbau des Aufnahmegeräts für Laborzwecke zusammengestellt, das ein
Aufnahme- und ein Beleuchtungssystem enthält, vgl. Abb. 1. Dieser Aufbau wurde so konstruiert, dass ein Teil der Op-
tik gemeinsam mit dem Abtragungsslaser benutzt werden kann, der durch einen Strahlteiler angekoppelt wurde. Das
Beleuchtungssystem besteht aus einem Lichtformungssystem an der Spitze des Geräts, das mit Faserleitungen mit einer
entfernten Lichtquelle gekoppelt wurde. Als Lichtquelle kann sowohl eine Kaltlichtquelle, eine LED-Quelle, oder ein
Diodenlaser angekoppelt werden.Für die Bildaufnahme wurde eine Kamera JAI CM-030 PMCL-RH mit einer maxima-
len Aufnahmegeschwindigkeit von 120 Bildern/sek und abgetrenntem Kamerakopf (17x46 mm) ausgewählt. Alle Be-
rechnungen wurden auf einem PC mit Intel Core 2 Duo CPU E8400 mit einer Taktfrequenz von 3,0 GHz durchgeführt.
(b)
(a) (c) (d) (e)
Abb.1: (a) Laborprototyp des Aufnahmegeräts mit Kamerakopf, Strahlteiler und fasergestützter Lichtführung. Aufnah-
me während des Abtrags, d.h. der Strahl des Abtragslasers wird über den Strahlteiler eingekoppelt. (b) Beispiele der
Knochenmuster und unterschiedliche Typen von Knochenoberflächen: (c): kontrastreiches Fragment, (d): durchschnitt-
lich kontrastreiches Fragment, (e): kontrastarmes Fragment.
Für die bildbasierte Bewegungskorrektur dient eine freie Implementierung des KLT Trackers [8]. Der Tracker dient
hauptsächlich zur Erkennung und Korrektur von Abweichungen des Laserstrahls durch unwillkürliche Handbewegun-
54
10. CURAC-Jahrestagung, 15. - 16. September 2011, Magdeburg
gen des Operateurs. Bei planmäßigen Fortbewegungen des Geräts nach dem Knochenabtrag eines bestimmten Ab-
schnittes wird der Tracker wieder neu initialisiert. Allerdings stellt die Genauigkeit des Trackers, insbesondere m Falle
einer Laserbeleuchtung mit einem sehr hohen Specklerauschen, eine entscheidende Randbedingungen für den Einsatzes
eines solchen Gerätes dar.
Für die Experimente wurde als Lichtquelle eine Laserdiode vom Typ JOLD-30-FC-12-808 verwendet. Für die experi-
mentellen Untersuchungen der Bewegungskompensation an einem präparierten und gesäuberten Tierphantom wurden
drei typischen Knochenbereiche von einem Schweineschädel mit unterschiedlichen Oberflächenbeschaffenheiten aus-
gewählt (vgl. Abb. 1,b-e). Die Messungen an dem Tierphantom fanden zunächst ohne einen gleichzeitigen Knochenab-
trag statt, allerdings unter Verwendung der zur Unterdrückung der Laserstrahlung sowie zur Reduktion des Plasma-
leuchtens eingesetzten Laserlichtquelle.
Zur Ermittelung der Genauigkeit des Trackers wurden Bildsequenzen der Schnittfugen der verschiedenen Präparate
aufgenommen während die Knochenmuster mittels eines Koordinatentischs unter der Kamera verschoben wurden. Die
Bewegungen der Musters wurden zuerst visuell ausgewertet und für jedes Einzelbild ein absoluter Versatz bezüglich
des Startbilds ermittelt. Anschließend wurden die Verschiebungsvektoren mit dem KLT Tracker aus den Bildsequenzen
automatisch berechnet und mit den manuell erfassten Sollwerten verglichen. Bei der automatischen Auswertung der
Sequenzen wurde der Glättungsparameter zwischen den Werten = 0,05 (praktisch keine Unschärfe) und = 0,50
(sehr starke Unschärfe) variiert. Da der Tracker standardmäßig die globale Verschiebung zwischen zwei aufeinander-
folgenden Bildern liefert, wurden diese partiellen Daten akkumuliert, um die Gesamtbewegung über die Länge der
Bildsequenzen zu berechnen.
3 Ergebnisse
Abb. 2.a zeigt die ermittelten Ergebnisse des verwendeten KLT Trackers mit unterschiedlichen Einstellung für den
Glättungsparameter sowie die manuell ermittelte Referenzbewegung des Knochenstücks. Auf der Abszisse ist die
Nummer der Sequenzbilder abgebildet. Da die Kamera eine sehr hohe Aufnahmerate besitzt und die Knochenpräparate
nur langsam verschoben wurden, genügte es lediglich jedes zehnte Bild aus den Bildsequenzen zu verwenden (d.h. die
Abszissenummer 100 entspricht Bild 1000 in der zugehörigen Bildsequenz). Die dünne Linie in Abb. 2.a zeigt die ma-
nuell ermittelten Referenzkoordinaten, die beiden anderen Linien stellen die mit dem KLT Tracker ermittelten Trajekto-
rien mit σ = 0,1 und σ = 0,2 dar. Erwartungsgemäß waren die mit dem KLT Tracker ermittelten Trajektorien auf den
Knochenstücken mit kontrastreichen Strukturen besser als die Trajektorien auf kontrastarmen Knochenbereichen.
Aus Abb. 2.a ist ersichtlich, dass bei der Ermittlung der Verschiebung des Knochens ein systematischer Fehler des KLT
Trackers entsteht, der sich über die Messreihe aufkumuliert und zudem mit dem Anstieg des Glättungsparameters
größer wird. Zur Kompensation dieses Fehlers wurden zwei Methoden untersucht: Eine intrinsische Funktion des KLT
Trackers um die Toleranz gegenüber der inhomogenen Beleuchtung zu erhöhen; und eine Vorverarbeitung des Bildes
zur Verminderung der inhomogenen Beleuchtung (sog. Shading-Korrektur). Die Shading-Korrektur wurde dabei mit
einer Referenzmaske durchgeführt, die anhand der Bilder von einem kontrastarmen Knochenbereich erstellt wurde, die
der Intensitätsverteilung der Beleuchtung am ehesten entsprechen. Keines der beide Verfahren zeigte einen messbaren
Einfluss auf die Verarbeitungsgeschwindigkeit des Gesamtprozesses. Ein Vergleich der beiden Korrekturansätze ist in
Abb. 2b für den Parameter mit der bestmögliche Genauigkeit dargestellt. Die dünne Linie zeigt die ermittelte Abwei-
chung der KLT Trajektorie ohne eine Korrektur, die gepunktete Linie die Kompensation mit der KLT-intrinsischen Kor-
rektur, und die dicke Linie die Verbesserung auf Grund der Shading-Korrektur. Eine Kombination beider Korrekturme-
chanismen führte zu keinerlei messbaren Verbesserungen gegenüber einer einzelnen Korrekturvariante. Der vorgegebe-
ne tolerierbare Grenzwert einer Abweichung ist mit 50 m spezifiziert und wird ohne Fehlerkompensation nach einer
Strecke von 70 Pixeln erreicht. Bei der Nutzung der KLT-intrinsischen Funktion erhöht sich die Strecke auf 110 Pixel,
durch die Shading-Korrektur auf 120 Pixel.
55
10. CURAC-Jahrestagung, 15. - 16. September 2011, Magdeburg
350
Strecke (Pixel)
0 20 40 60 80 100 120 140 160 180 200 220 240 260 280
300 2
0
250
-2
200
Versatz (Pixel)
Fehlergröße (Pixel)
-4
150
-6
100
-8
50
-10
0
1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88
-12
-50
Bild Nummer -14
(a) (b)
Abb. 2(a): Vergleich der automatisch ermittelten mit den manuell erfassten Bewegungskoordinaten (in Pixel). Dünne
Linie: tatsächliche Koordinate, gepunktete Linie: mit dem KLT Tracker berechnete Koordinate bei σ = 0,1; dicke Linie:
berechnete Koordinate bei σ = 0,2. (b) Kompensation des systematischen Fehlers mit unterschiedlichen Methoden.
Dünne Linie: Ergebnis ohne Verbesserung, gepunktete Linie: Verbesserung mit KLT-intrinsischer Korrektur, dicke Li-
nie: Verbesserung mit Shading-Korrektur.
4 Diskussion
Wie eingangs erwähnt, ist es vorgesehen, den KLT Tracker für die Ermittlung von Abweichungen des Laserkraniotoms
von der Schnittfuge einzusetzen. In diesem Sinne sind die Ergebnisse dieser Untersuchung zufriedenstellend. Bei den
vorgegeben Randbedingungen der Anwendung mit einem Sichtfeld von 200x200 Pixel, einem Pixelpitch von 17 m
pro Pixel und einem tolerierbaren Koordinatenfehler 50 m kann durch den untersuchten KLT-Tracker eine ausreichend
genaue Bewegungsverfolgung über das gesamte Sichtfeld gewährleistet werden. Durch die beiden untersuchten Verfah-
ren zur Kompensation des ermittelten systematischen Messfehlers lässt sich der Bereich mit ausreichender Genauigkeit
noch erweitern. Weitergehende Arbeiten werden sich mit den Fragen auseinandersetzen, wie der ermittelte systemati-
sche Fehler im KLT Tracker entsteht (z.B. Kumulation von Subpixel Ungenauigkeiten) sowie Untersuchungen, wel-
chen Einfluss die Knochenbeschaffenheit (hoch bzw. niedrig texturiert) besitzen. Zudem sind Messungen an unpräpa-
rierten Schädelphantomen geplant, um den Einfluss von Knochenmehl und Blut auf die Trackinggenauigkeit zu ermit-
teln.
5 Referenzen
[1] L. Kahrs: “Bildverarbeitungsunterstützte Laserknochenablation am humanen Felsenbein“, Dissertation, Karlsruher
Institut für Technologie, 2009.
[2] H. Wörn, M. Aschke, L. Kahrs: „New augmented reality and robotic based methods for head surgery”. Int. J. of
Medical Robotics & Computer Assisted Surgery, pp. 49-66, 2005
[3] H. Wörn, H. Peters, M. Ivanenko, und P. Hering: „LASER based Osteotomie with surgical Robots“. Biomedizini-
sche Technik, Vol. 50, Suppl. 1. pp. 25-26, 2005
[4] H. Wörn und U. Brinkschulte: „Echtzeitsysteme“ Springer 2005.
[5] B.D. Lucas, T. Kanade, “An Iterative Image Registration Technique with Application to Stereo Vision”, Int. Joint
Conf. on Artificial Intelligence, pp. 674-679, 1981.
[6] C. Tomasi, T. Kanade, Detection and Tracking of Point Features, Technical Report CMU-CS-91-132, 1991.
[7] J. Shi, C. Tomasi, Good features to track. IEEE Conf. on Computer Vision & Pattern Recognition (CVPR),
pp. 593-600, 1994
[8] KLT: An Implementation of the Kanade-Lucas-Tomasi Feature Tracker, http://www.ces.clemson.edu/~stb/klt/
56