=Paper=
{{Paper
|id=Vol-1476/paper18
|storemode=property
|title=Verbesserung der Detektion sphärischer Marker für die optische Navigationschirurgie
|pdfUrl=https://ceur-ws.org/Vol-1476/Proceedings_CURAC_2011_Paper_18.pdf
|volume=Vol-1476
|dblpUrl=https://dblp.org/rec/conf/curac/GarciaSH11
}}
==Verbesserung der Detektion sphärischer Marker für die optische Navigationschirurgie==
https://ceur-ws.org/Vol-1476/Proceedings_CURAC_2011_Paper_18.pdf
10. CURAC-Jahrestagung, 15. - 16. September 2011, Magdeburg
Verbesserung der Detektion sphärischer Marker für die optische
Navigationschirurgie
für die 10. CURAC Jahrestagung 2011
E. Garcia¹, C. Sültrop¹, T. Hausotte¹
¹ Universität Erlangen-Nürnberg, Lehrstuhl für Fertigungsmesstechnik, Erlangen, Germany
Kontakt: garcia@qfm.uni-erlangen.de
Abstract:
In der computer- und roboterassistierten Chirurgie werden aufgrund ihrer Flexibilität und Genauigkeit vorwiegend
optische Navigationssysteme eingesetzt. Hierbei handelt sich um Stereokameramesssysteme die an Patienten und OP-
Instrumentarium angebrachte – normalerweise sphärische – retroreflektierende Marker messen, verfolgen und Lokali-
sationsaufgaben navigierter chirurgischer Eingriffe lösen. Dir Grundlage dieses Messprozesses bildet die Markerdetek-
tion in aufgenommenen Kamerabildern. Zur Verbesserung der erzielbaren Navigationsgenauigkeit müssen Marker
auch bei unvollständiger Erfassung, z.B. aufgrund von Verdeckungen oder Verunreinigungen, zuverlässig und präzise
detektiert werden können. In diesem Beitrag präsentieren wir einen Algorithmus zur robusten und genauigkeitsstei-
gernden Erkennung sphärischer Marker in Grauwertbildern. Unser Ansatz kann zuverlässig hochgradig verdeckte
Marker in Bildern lokalisieren und deren Mittelpunktskoordinaten und Durchmesser präzise bestimmen.
Schlüsselworte: Optische Navigationschirurgie, Marker-basiertes Tracking, Maschinelles Sehen, Computer- und Robo-
terassistierte Chirurgie
1 Problem
Die unzureichende Genauigkeit der Positionsbestimmung in der optischen Navigationschirurgie ist häufig in der unzu-
verlässigen oder unpräzisen Erkennung von Markerabbildungen in Kamerabilddaten begründet. In der klinischen Pra-
xis werden zumeist sphärische, retroreflektierende Marker für die Lokalisierung und Verfolgung von Patient und OP-
Instrumentarium verwendet [1]. Die Raumlage von Patient und chirurgischen Instrumenten werden hierbei unter An-
wendung der Verfahren der Epipolargeometrie und des photogrammetrischen Bündelblockausgleiches aus den Marker-
positionen in Kamerabilddaten berechnet [2]. Die wesentliche Herausforderung besteht hierbei in der zuverlässigen und
präzisen Erkennung der Mittelpunktskoordinaten der Marker. Insbesondere wenn diese verdeckt sind oder intraoperativ
verunreinigt werden.
2 Methoden
Bei adäquater Beleuchtung erscheinen Marker aufgrund ihres hohen Reflektionsgrades als helle Bereiche im Kamera-
bild, welche sich deutlich von den übrigen Bildbereichen abheben. Für die Lokalisierung dieser hellen Bildbereiche
wird das Kamerabild in ein Schwellwertbild gewandelt und anschließend zusammenhängende Pixelbereiche, sogenann-
te Blobs, gesucht [3]. Um diejenigen Blobs die sicher nicht Abbilder der Marker sein können auszusortieren, werden
Vorkenntnisse über die Marker- und Kamerageometrie sowie den spezifizierten Messbereich verwendet.
Nach diesem Vorverarbeitungsschritt sind nur noch mögliche, d.h. ellipsenförmige, Abbildungen von sphärischen Mar-
kern in den Kamerabildern enthalten. Als nächstes müssen die Randpunkte der Markerabbildungen möglichst präzise
bestimmt werden. Hierfür kommt eine Erweiterung des in [4] vorgeschlagenen Verfahrens zur Anwendung.
Randpunktbestimmung
Für die zuvor ermittelten Blobs wird der Flächenschwerpunkt bestimmt. Anschließend werden im Originalbild vom
Flächenschwerpunkt ausgehend Suchstrahlen festgelegt. Auf diesen Suchstrahlen wird derjenige Punkt gesucht, der den
Übergang eines Markers zum Hintergrund markiert. Dieser Punkt wird als Randpunkt bezeichnet. Dieser Übergang
erfolgt fließend, da zum einen der Reflektionsgrad von Markern zum Rand hin abnehmen und zum anderen das Auflö-
sungsvermögen der einzelnen Elemente des Bildsensors begrenzt ist. Dies führt dazu, dass die Grenze zwischen dem
115
10. CURAC-Jahrestagung, 15. - 16. September 2011, Magdeburg
Marker und dem Hintergrund - so überhaupt ein genauer Grenzpunkt angegeben werden kann - zwischen zwei Bild-
punkten liegt.
Eine Lösung besteht in der Verwendung eines modellbasierten Ansatzes zur Randpunktbestimmung. Die Helligkeits-
verteilung entlang der Suchstrahlen wird mit einem Satz von Modellen verglichen. Der Modellparameter ist dabei die
Position des Übergangs zwischen hellem Marker und dunklem Hintergrund. Diese Methode berücksichtigt viele diskre-
te Punkte auf einer Linie und ist dadurch robuster gegen Ausreißer und Störungen als die Untersuchung auf Basis des
maximalen Gradienten zwischen Bildpunkten. Die Suche findet nicht im Schwellwertbild sondern im Originalbild statt
und hat dadurch den Vorteil, dass die Randpunkte mit Subpixelauflösung gefunden werden können
Eliminierung der Verdeckungskante
Nachdem die Randpunkte des Blobs identifiziert sind, soll mit deren Hilfe das Zentrum des Markers möglichst genau
bestimmt werden. Die Marker werden auf der Sensorfläche in erster Näherung als Ellipsen abgebildet. Deren Zentrum
wird als Zentrum des Markerabbilds in der Bildebene angenommen. Die Parameter der Ellipse sind also derart zu be-
stimmen, dass die gemessenen Randpunkte optimal approximiert werden. Hierfür kommen Optimierungsverfahren der
Ellipsenausgleichsrechung zur Anwendung [5-7].
Sind Marker verdeckt oder verunreinigt entsprechen die Randpunkte des abgebildeten Teils des Markers nicht mehr den
Randpunkten des tatsächlichen Markers. In diesem Fall stimmt der Mittelpunkt der Ausgleichsellipse nicht mit dem
Mittelpunkt des Markers überein. Die errechnete Ellipse weicht erheblich vom Rand des tatsächlichen Markers ab. Um
eine Ellipse zu erhalten, die den Rand des Markers korrekt beschreibt ist es erforderlich, diejenigen Randpunkte zu
identifizieren und zu eliminieren, die nicht auf dem Rand des Markers, sondern auf der Verdeckungskante liegen.
Als in der Praxis sehr zuverlässiges und präzises Verfahren hat sich das folgende Vorgehen erwiesen:
Zuerst wird eine Ausgleichsellipse in die anfänglich vorliegenden, die Verdeckungskante einschließenden,
Randpunkte eingepasst.
Anschließend werden die Differenzvektoren zwischen der Ausgleichsellipse und den Randpunkten bestimmt
und so ausgerichtet, dass sie vom Ellipsenmittelpunkt weg nach außen zeigen.
Diese Differenzvektoren werden aufsummiert.
Der Summenvektor zeigt dann vom Mittelpunkt der Ellipse in Richtung der Mitte der Verdeckungskante.
Von der Mitte der Kante wird jetzt nach links und nach rechts jeweils derjenige Randpunkt gesucht, der den größten
Abstand zum Mittelpunkt der Ellipse hat. Alle Punkte zwischen diesen beiden Punkten werden eliminiert. In die ver-
bleibenden Punkte kann jetzt erneut eine Ausgleichsellipse eingepasst werden. Ein großer Bereich des Blob-Umfangs
ist jetzt ohne Randpunkte. Da die algebraische Ellipsenausgleichung in einem solchen Fall zu zu kleinen Ellipsen ten-
diert [7] und außerdem das Bild des Markers praktisch kreisförmig ist, kann stattdessen eine Kreisausgleichung nach
[6] durchgeführt werden. Das gesamte Verfahren ist in Algorithmus 1 dargestellt.
Abb. 1: Algorithmus zur Eliminierung der Verdeckungskante
3 Ergebnisse
In einem Experiment wurden für einen teilverdeckten Einheitskreis Randpunkte errechnet. Die Verdeckung wird in
Prozent des Durchmessers angegeben und wurde zwischen maximal 85% und minimal 15% in 5%–Schritten variiert.
116
10. CURAC-Jahrestagung, 15. - 16. September 2011, Magdeburg
Auf diese Randpunkte wurde der vorgeschlagene Algorithmus angewendet und der so ermittelte Kreis mit dem Ein-
heitskreis verglichen. Die Resultate sind auszugsweise in Tabelle 1 und Abbildung 2 dargestellt.
Tabelle 1: Vergleich von Ellipsenausgleichung
und Kreisausgleichung nach Eliminierung der
Verdeckungskante bei verschiedenen Verde-
ckungsgraden eines Einheitskreises. Die Grö-
ßen sind für das Beispiel dimensionslos.
Verde- Abweichung Abweichung
ckung (in des Ellipsen- des Kreis-
% des mittelpunkts mittelpunkts
Durch- vom Mittel- vom Mittel-
messers) punkt des punkt des
Ausgangs- Ausgangs-
einheitskreis einheitskreis
85 0,812 -0,682
80 0,749 -0,306
75 0,687 -0,145
70 0,627 -0,064
65 0,568 -0,020
60 0,511 -0,005
55 0,456 0,000
50 0,400 0,000
45 0,350 0,000
Abb. 1: Ellipsenausgleichung, Randpunkteliminierung und an-
40 0,299 0,000
schließende Kreisausgleichung. Das Verfahren ist unabhängig von
35 0,249 0,000
der Dimension der Werte und wird daher für einen Einheitskreis mit
30 0,204 0,000
dem dimensionslosen Radius 1 gezeigt. Der vom Mittelpunkt der
25 0,160 0,000
Ellipse ausgehende Vektor ist die Summe der nach außen zeigenden
20 0,188 0,000
Vektoren zwischen den Randpunkten und der Ellipse. Er zeigt in
15 0,080 0,000
Richtung der Verdeckungskante.
Für alle Verdeckungsgrade werden sehr gute Ergebnisse erzielt. Der Ausgleichskreis ist identisch mit dem ursprüngli-
chen, unverdeckten Einheitskreis. Für eine Verdeckung von über 60% wurden nicht alle fehlerhaften Punkte entfernt.
Dieses Verhalten ist nicht prinzip- sondern implementierungsbedingt. Bei einer Gesamtzahl von n Randpunkten wird
nur unter n/4 Punkten links und rechts des Mittelpunkts der Verdeckungskante nach dem Punkt mit dem größten Ab-
stand zum Ellipsenmittelpunkt gesucht. Dieser Wert hat sich als in der Praxis ausreichend erwiesen. Ferner zeigte sich
in Untersuchungen, dass erst ab einem definierten Verhältnis der Halbachsen der Ausgleichsellipse die Randpunkteli-
minierung durchgeführt werden sollte. Als guter Kompromiss zwischen Berechnungsaufwand und erzielbarer Genauig-
keitssteigerung der Mittelpunktsbestimmung wurde ein Schwellwert von mindestens 10% Verdeckung ermittelt.
Zur Beurteilung der Robustheit des Algorithmus wurden in synthetischen Experimenten multiple, nichtlineare Verde-
ckungen untersucht. Eine auszugsweise Darstellung der Ergebnisse ist in Abbildung 2 gegeben. Es zeigte sich, dass das
Verfahren auch bei beliebigen Vedeckungslinien anwendbar ist. Die Markermittelpunkte wurden in den meisten Fällen
genauer bestimmt als bei Anwendung der konventionellen Ellipsenausgleichung (Abb. 2a, b, d). Die Genauigkeitsver-
besserung ist hierbei insbesondere von der Eindeutigkeit der Verdeckungskante und der Konvexität der Randpunkte
abhängig. Je länger eine Kante im Verhältnis zu allen anderen Verdeckungskanten, desto genauer kann das Markerzent-
rum errechnet werden (Abb. 2a, b, d). Entartet die Markerabbildung zu einem Kreissegment ist zwischen Ausgleichsel-
lipse und -kreis keine signifikante Verbesserung zu beobachten (Abb.2c). Liegen stark konkave Randpunktanordnun-
gen vor, können zum Teil sogar bessere Ergebnisse im Ellipsenausgleich erzielt werden (Abb. 2e). Diese beiden Fälle
sind jedoch nicht praxisrelevant, da derart verformte Markerabbildungen in der Bildvorverarbeitung aufgrund der zu
starken Abweichung von der Kreisform eliminiert werden würden.
4 Diskussion
Die erzielbare Lokalisierungsgenauigkeit und letztendlich die chirurgische Eingriffsqualität optisch navigierter Opera-
tionen hängen essentiell von der zuverlässigen und präzisen Bestimmung der Markerpositionen in Kamerabildern ab. In
diesem Beitrag wurde ein Verfahren für die präzise Ermittlung von Randpunkten der Markerabbildungen in Kamerabil-
117
10. CURAC-Jahrestagung, 15. - 16. September 2011, Magdeburg
dern erarbeitet. Hierbei werden viele diskrete Punkte auf durch den Markermittelpunkt verlaufenden Suchstrahlen be-
rücksichtigt. Das Verfahren ist dadurch robuster gegen Ausreißer und Störungen als es die Untersuchung auf Basis des
maximalen Gradienten zwischen den Bildpunkten wäre. Die Suche findet nicht im Schwellwertbild, sondern im Origi-
nalbild statt und hat dadurch den Vorteil, dass die Randpunkte mit Subpixelauflösung gefunden werden können.
Anschließend wurde ein Algorithmus zur Eliminierung der Verdeckungskante nur teilweise im Bild sichtbarer Marker
präsentiert. Der Algorithmus wurde für den häufigen Fall einfacher Verdeckungen entwickelt, ist aber auch bei multip-
len Verdeckungen robust und präzise anwendbar. In allen praxisrelevanten Fällen konnte das Markerzentrum genauer
ermittelt werden als bei Anwendung konventioneller Ellipsenausgleichrechnungen. Inwiefern Art, Grad und Anzahl der
Verdeckungen die Genauigkeit der Posenbestimmung eines Rigid Body allgemeingültig beeinflussen soll in nachfol-
genden Untersuchungen geklärt werden.
a) b) c)
d) e)
Abb. 2: Vergleich von Ellipsen- und Kreisausgleichung nach Eliminierung der Verdeckungskante bei mul-
tiplen, nichtlinearen Verdeckungslinien. Die Abweichungen von Ausgleichsellipse und -kreis zum Mittel-
punkt des Ausgangseinheitskreises sind mit dE bzw. dK bezeichnet. Die Kreisartigkeit der Markerabbil-
dung c ist definiert als c=U²/(4A) mit Umfang U und Fläche des Markers A. Es gilt immer c≥cKreis=1.
5 Danksagung
Wir danken der Deutsche Forschungsgemeinschaft e.V. (DFG-Projektnummer WE 918/34-1) für die Förderung des
Forschungsvorhabens. Die Untersuchungen wurden unter der Leitung von Prof. Weckenmann am Lehrstuhl „Quali-
tätsmanagement und Fertigungsmesstechnik“ der Friedrich-Alexander-Universität Erlangen-Nürnberg durchgeführt.
6 Referenzen
[1] A. Schramm, N.-C. Gellrich und R. Schmelzeisen, Navigational Surgery of the Facial Skeleton. Springer, 2007.
[2] T. Luhmann, S. Robson, S. Kyle und I. Harley, Close Range Photogrammetry: Principles, Techniques and
Applications. Wiley, 2007.
[3] F. Chang, C.-jen Chen und C.-jen Lu, „A linear-time component-labeling algorithm using contour tracing
technique“, Computer Vision and Image Understanding, Bd. 93, S. 206–220, 2004.
[4] N. C. Stache und H. Zimmer, „Robust Circle Fitting in Industrial Vision for Process Control of Laser Welding“, in
Proceedings of the 11th International Student Conference on Electrical Engineering POSTER 2007, Prague, 2007.
[5] A. W. Fitzgibbon, M. Pilu und R. B. Fisher, „Direct Least Squares Fitting of Ellipses“, Proceedings of the 1996
International Conference on Pattern Recognition (ICPR ’96) Volume I - Volume 7270, S. 253–257, 1996.
[6] T. B. Ay, W. Gander, G. H. Golub und R. Strebel, „Least-Squares Fitting of Circles and Ellipses“, BIT, Bd. 43, S.
558–578, 1994.
[7] R. Halir und J. Flusser, „Numerically Stable Direct Least Squares Fitting Of Ellipses“, 1998.
118