=Paper=
{{Paper
|id=Vol-2308/ase2019paper01
|storemode=property
|title=Neue Ansätze und Methoden für die Fehlermodellierung und -behandlung bei automobilen Videodatenübertragungenstrecken (Novel Approaches and Techniques for Fault Modeling and Fault Handling in Automotive Video Links)
|pdfUrl=https://ceur-ws.org/Vol-2308/ase2019paper01.pdf
|volume=Vol-2308
|authors=Karlheinz Blankenbach,Jan Bauer,Mirko Conrad,Andreas Hudak,Frank Langner,Matthäus Vogelmann,Chihao Xu
|dblpUrl=https://dblp.org/rec/conf/se/BlankenbachBCHL19
}}
==Neue Ansätze und Methoden für die Fehlermodellierung und -behandlung bei automobilen Videodatenübertragungenstrecken (Novel Approaches and Techniques for Fault Modeling and Fault Handling in Automotive Video Links)==
https://ceur-ws.org/Vol-2308/ase2019paper01.pdf
Neue Ansätze und Methoden für die
Fehlermodellierung und -behandlung bei
automobilen Videodatenübertragungsstrecken
Jan Bauer Karlheinz Blankenbach Mirko Conrad
Daimler AG Hochschule Pforzheim samoconsult GmbH
Stuttgart, Germany Pforzheim, Germany Berlin, Germany
jan.j.bauer@daimler.com karlheinz.blankenbach@hs-pforzheim.de mirko.conrad@samoconsult.de
https://orcid.org/0000-0003-3221-6503
Andreas Hudak Frank Langner Matthäus Vogelmann
STZ Electronic Systems GmbH Daimler AG Hochschule Pforzheim
Mühlacker, Germany Stuttgart, Germany Pforzheim, Germany
andreas.hudak@stz-es.com jan.j.bauer@daimler.com matthaeus.vogelmann@hs-pforzheim.de
Chihao Xu
Universität des Saarlandes
Saarbrücken, Germany
chihao.xu@lme.uni-saarland.de
Zusammenfassung — Kamera-Monitor-Systeme und die Darüber hinaus werden Videodaten zu Empfängern
damit einhergehende digitale Übertragung von Videodaten außerhalb des Fahrzeugs übertragen, wie z.B. für
kommen zunehmend in sicherheitsrelevanten Systemen im automatisierte Parkvorgänge. Auch hier kann bspw. die
Kraftfahrzeug zum Einsatz. Um sicherheitsrelevantes Verknüpfung der Bildinformation mit einer eventuellen
Fehlverhalten zu vermeiden, müssen diese Systeme gegen Entscheidung für die Fahrzeugbewegung sicherheitsrelevant
Fehler und Ausfälle abgesichert werden. Der Beitrag schlägt sein.
ein Fehlermodell für die Videodatenübertragung vor und
skizziert mögliche Sicherheitsmechanismen zur Fehler- Im Rahmen einer Bestandsaufnahme wurden von den
erkennung und -behandlung. Autoren mehr als 20 Use-Cases mit Videoübertragung
(Video Use-Cases) identifiziert, die potentiell funktional
Abstract — Camera monitor systems and the associated abgesichert werden müssen.
digital transmission of video data are increasingly being used
in safety-relevant automotive systems. To avoid safety-related Die Videoübertragung ist ein Spezialfall der
malfunctioning behavior, these systems must be protected Datenübertragung. Die Videoübertragung unterscheidet sich
against faults and failures. This paper proposes a fault model dabei, in der hohen Bandbreite in eine Übertragungsrichtung
for video data transmission and outlines possible safety und die in den meisten Fällen verbindungslose Übermittlung
mechanisms to detect and handle faults in video links (d.h. es findet kein expliziter Aufbau einer Kommunikations-
beziehung vor dem Datenaustausch statt) in einem soge-
Keywords — Camera Monitor Systems (CMS), Video Data nannten Pixel-Stream.
Transmission, Fault Model, Functional Safety, ISO 26262
Die übertragenen Videodaten werden dann entweder (RD)
über eine Anzeige in ortsaufgelöste Lichtinformation
I. EINLEITUNG umgesetzt und als Bild von einem Betrachter
In modernen Fahrzeugen werden Videodaten oft wahrgenommen, oder (RP) von einem Videoprozessor mit
zwischen mehreren Kameras, Bildprozessoren und Displays einem Algorithmus weiterverarbeitet, um entsprechende
übertragen. Die gesteigerte Anzahl der Komponenten mit Merkmale der Umgebung wie z.B. Verkehrszeichen zu
einer notwendigen Partizipation an der erkennen. Der Fall (RP) geht dabei über die Funktionalität
Videodatenübertragung ist auf der Kameraseite durch die herkömmlicher Kamera-Monitor-Systeme (Camera Monitor
Verbreitung von videobasierten Assistenzsystemen und auf Systems, CMS [13]) hinaus.
der Displayseite durch den gesteigerten Bedarf, diese
Informationen adäquat dem Fahrer und Passagieren Im Fall (RD) kann zur Verbesserung der
darzustellen, begründet. Wird ein Kamerabild auf einem Benutzererfahrung (User-Experience) eine Bildverbesserung
Display dargestellt, kann es durch die Darstellung von beispielsweise unter Nutzung von Farbraumkonvertierungen
fahrrelevanten Informationen zu Anforderungen bezüglich oder durch eine Überlagerung mit zusätzlichen Inhalten
der funktionalen Sicherheit kommen. erfolgen. Weiter werden die Eigenschaften der visuellen
Wahrnehmung genutzt, um z.B. durch Kompression der
Teil-, hoch- oder vollautomatisierte Fahrzeuge beziehen Videodaten die Effizienz der Übertragung zu optimieren.
einen nicht unerheblichen Teil der Information über ihre Verfahren für die Absicherung müssen in diesem Fall
Umgebung von bildgebenden Aufnahmeverfahren. Werden entsprechend robust gegenüber den (validen) Änderungen
die dort anfallenden Videodaten im Fahrzeug übertragen, der Bildverbesserung, Überlagerung und Kompression sein.
müssen zur Gewährleistung der Funktionssicherheit Gleichzeitig müssen ungültige Änderungen wie z.B.
ebenfalls Maßnahmen ergriffen werden. einfrieren des Bilds erkannt werden. Sowohl bei (RD) als
ASE 2019: 16th Workshop on Automotive Software Engineering @ SE19, Stuttgart, Germany 30
auch bei (RP) muss die Integrität der Daten und die • Hinzufügen von Information (insertion of infor-
verzögerungsfreie Übertragung sichergestellt werden. mation)
Viele der derzeit bekannten bzw. verwendeten • Informationsverzögerung (delay of information)
Mechanismen zur Absicherung der Datenübertragung bei • Maskeradefehler oder fehlerhafte Adressierung
Fehlern und Ausfällen sind für die allgemeine (masquerade or incorrect addressing of information)
Datenübertragung ausgelegt und betrachten den Sonderfall
• Nichtempfang oder nichtintendierter Empfang von
der Videoübertragung nicht im benötigten Umfang. Hieraus
Informationen (asymmetric information sent from a
ergeben sich potentielle Lücken bei der Gewährleistung der
sender to multiple receivers, information from a
Funktionssicherheit [12] bei vielen state-of-the-art als auch
sender received by only a subset of the receivers)
bei zukünftigen Video Use-Cases. Beispielsweise gibt es nur
beschränkte Mechanismen, um festzustellen ob Videodaten • Verhinderung des Zugriffs auf einen
korrekt übertragen und durch das Display in die Kommunikationskanal (blocking access to a commu-
entsprechende Lichtinformation umgesetzt wurden. nication channel)
Im vorliegenden Paper wird ein Konzept vorgestellt, dass Anhand eines derartigen Fehlermodells kann die
eine funktionale Absicherung von Videoübertragungen von Wirksamkeit von Sicherheitsmechanismen zur Fehler-
der Quelle (nach Erzeugung der Pixel) bis zur Umwandlung erkennung bzw. -vermeidung systematisch analysiert
der Pixel in optische Information (RD) bzw. zum Empfänger werden. Da den Autoren ein angepasstes Fehlermodell für
(RP) ermöglicht. Dabei werden bekannte Verfahren zur den Spezialfall der Übertragung von Videodaten nicht
Absicherung der Qualität bei Videoübertragungen für die bekannt ist soll ein solches nachfolgend erarbeitet werden.
Nutzung innerhalb der funktionalen Sicherheit betrachtet und Hierfür wird das in Fig. 1 illustrierte generische Modell
mit neuen Verfahren kombiniert, um eine möglichst einer Videodatenübertragungsstrecke zugrunde gelegt. Eine
holistische Absicherung der Videoübertragungskette zu Videoübertragungsstrecke besteht aus einem Sender (Sender,
erreichen. S), einem Übertragungskanal (Transmission, T) und einem
Empfänger (Receiver, R). Dabei können S, T und R aus
II. ABLEITUNG EINES FEHLERMODELLS FÜR DIE mehreren Teilen bestehen.
ÜBERTRAGUNG VON VIDEODATEN
Im Falle eines Rückfahrkamera- (Rear View Camera)
Voraussetzung für die systematische Absicherung eines Systems werden die aus den eigentlichen Pixeldaten und
technischen Systems, bspw. eines Systems zur zugehörigen Metadaten bestehenden Videodaten (I) bspw.
Videodatenübertragung, ist die Kenntnis der möglichen durch eine Rückfahrkamera erzeugt und von dieser über
Ausfallarten (failure modes), die in diesem System auftreten einen ungesicherten (sog. grauen) Kanal digital an den
können, also die Definition eines geeigneten Fehlermodells Empfänger (I'') bspw. ein Monitor in der Mittelkonsole
(fault model). übertragen (Fig. 1). Die Übertragung T: I→I'' kann dabei
Für die klassische Datenübertragung kann ein solches drahtgebunden als auch drahtlos erfolgen.
Fehlermodell aus der Funktionssicherheitsnorm ISO 26262 Eine zusätzliche Herausforderung ergibt sich dadurch,
[12] abgeleitet werden. dass sich optional innerhalb des ungesicherten Über-
Um eine hohe Fehleraufdeckung zu gewährleisten, tragungskanals weitere Elektronikkomponenten, genannt
müssen die folgenden Ausfallarten berücksichtigt werden: Modifier (M) befinden können, die die zu übertragenden
Videodaten auf bestimmte Art und Weise verändern können
• Informationsverfälschung (corruption of information) (I*).
• Informationsverlust (loss of information) In dem in Fig. 1 dargestellten Rear View Camera System
• fehlerhafte Informationsabfolge (incorrect sequence könnte eine zwischengeschaltete Head Unit bspw. die
of information) Bildhelligkeit oder den Kontrast optimieren, ein Kamerabild
• Informationswiederholung (repetition of information) skalieren, es in ein größeres Gesamtbild einbetten oder
augmentieren.
(S) Sender (M) Modifier (R) Receiver
❑ Rear View Camera ❑ Head Unit ❑ Center Console Display
I1, I2, I3, I4, … I’x = F(Ix) I*x = F(I’x) I”x = F(I*x) I”1, I”2, I”3, I”4, …
Pixel data
Meta data
Fig. 1. Modell der Videodatenübertragungsstrecke
ASE 2019: 16th Workshop on Automotive Software Engineering @ SE19, Stuttgart, Germany 31
Zulässige Bildtransformationen sollen dabei durch die A. Absicherung des Übertragungskanals (T)
Sicherheitsmechanismen toleriert werden. Unzulässige Für Videoübertragungen können prinzipiell verschiedene
Bildtransformationen, die bspw. dazu führen, dass der physikalische Übertragungsverfahren und Übertragungs-
Nutzer die relevanten Bildinformationen nicht mehr medien verwendet werden. Heutige Verfahren für die
erkennen kann, sollen dagegen erkannt werden. Videoübertragung im Fahrzeug verwenden vornehmlich
Voraussetzung für die Entwicklung und vor allem die elektrische drahtgebundene Verfahren, daher soll sich an
Bewertung von Mechanismen für die Absicherung der dieser Stelle auf die elektrischen drahtgebundenen
Videodatenübertragung ist die Aufstellung eines geeigneten Verfahren fokussiert werden. Heutige Mechanismen zur
Fehlermodells für eine Videodatenübertragung. Absicherung der physikalischen Übertragungsschicht haben
das Ziel, die Qualität der Videoübertagung sicherzustellen,
Prinzipiell können zunächst einmal die gleichen d.h. Ausfälle und Störungen zu erkennen und / oder zu
Ausfallarten wie bei der klassischen Datenübertragung vermeiden.
auftreten, d.h. das Fehlermodell für die Video-
datenübertragung muss daher mindestens die o.g. Ausfall- Dazu zählt die Erkennung von Fehlern der physika-
arten berücksichtigen: lischen Verbindung (Line Fault Detection) mit den Möglich-
keiten:
• FM01: Bildverfälschung
• Verbindungsunterbrechung
• FM02: Bildverlust
• Kurzschluss nach Masse
• FM03: fehlerhafte Bildabfolge
• Kurzschluss zur Versorgungsspannung (oder anderen
• FM04: Bildwiederholung Spannungen)
• FM05: Hinzufügen von Bildern • Kurzschluss zwischen den Übertragungsleitungen
• FM06: Bildverzögerung • erhöhter Leitungswiderstand zwischen Sender und
• FM07: Maskeradefehler oder fehlerhafte Adressierung Empfänger
• FM08: Nichtempfang oder nichtintendierter Empfang • fehlerhafter Leitungsabschluss
von Bilden
Besteht eine physikalische Verbindung, kann bspw. über
• FM09: Verhinderung des Zugriffs auf eine Bild- die Aussendung eines Testsignals vom Sender zum
übertragungsstrecke Empfänger, den dortigen Empfang und die Rückmeldung an
Darüber hinaus wurden weitere videospezifische den Sender die logische Verbindung beidseitig überprüft
Ausfallarten identifiziert, die ebenfalls berücksichtigt werden werden. Der Zustand der logischen Verbindung wird in
müssen. Hierzu gehören z.B.: vielen automotive Übertragungssystemen mit einem Link-
Lock signalisiert.
• FM10: eingefrorenes Bild (frozen image)
Die Übertragung der Videodaten über einen Über-
• FM11: fehlerhafter Bildausschnitt / Vergrößerungs- tragungskanal kann durch Error-Detection Codes (EDC),
faktor (erroneous field of view / zoom factor) bspw. die Verwendung eines Cyclic Redundancy Checks
• FM12: fehlerhafte Bildgröße (erroneous image size) (CRC), abgesichert werden. Auf diese Weise können
• FM13: fehlerhafte Metadaten (erroneous meta data) eventuelle elektro-magnetische Störungen auf der Video-
übertragungsstrecke erkannt werden. Die Verwendung von
• FM14: fehlerhafte Bilddarstellung (erroneous image Error-Correction Codes (ECC) erlaubt eine Forward Error
display) Correction (FEC), also eine automatische Korrektur
• FM15: Verlust notwendiger Bildinformation (loss of bestimmter Übertragungsfehler.
essential image information)
Neben der Möglichkeit, Fehler zu erkennen bzw. zu
• FM16: fehlerhafte Bildtransformation (unintended korrigieren, können aus den genannten Verfahren die
image transformation) aktuelle Anzahl der Übertragungsfehler aus der CRC-
Auswertung (FCRC) bzw. Anzahl der Fehlerkorrekturen
III. SICHERHEITSMECHANISMEN (CFEC) abgeleitet werden und als Messgröße für die Qualität
Um die o.g. Fehlermöglichkeiten zu erkennen bzw. zu der physikalischen Verbindung QTP verwendet werden. Diese
behandeln, wurden von den Autoren bekannte Sicher- Qualitätsbewertung der physikalischen Verbindung QTP kann
heitsmechanismen für die einzelnen Bestandteile der Video- durch Messung der physikalischen Empfangseigenschaften
datenübertragung zusammengetragen und potentielle Lücken wie bspw. der vertikalen, horizontalen Augenöffnung (A, B)
identifiziert. erweitert werden.
Diese Vorgehensweise wird in den folgenden Darüber hinaus verwenden heutige Videoübertragungs-
Unterabschnitten anhand der Beispiele Absicherung des strecken Ausgleichsfilter auf Frequenzbasis (Equalizer) zum
Übertragungskanals T auf physikalischer Ebene (Unter- Ausgleich der frequenzabhängigen Dämpfung auf der
abschnitt A) und Absicherung des Empfängers R in Form Übertragungsstrecke. Der Abstand der aktuellen zur
eines Displays (Unterabschnitt B) beschrieben. Darüber maximal möglichen Aussteuerung dieser Filter über die
hinaus werden komponentenübergreifende (systemweite) Frequenz ∆D(f) kann als weiterer Parameter für die Quali-
Absicherungsverfahren mittels Hashing und Watermarking tätsbewertung der Übertragungsstrecke genutzt werden.
beschrieben (Unterabschnitte C, D). Wird ein zu definierender Schwellwert für die Qualität
der Übertragungsstrecke QTP unterschritten, können dann
entsprechende Fehlerbehandlungsmechanismen aktiviert
ASE 2019: 16th Workshop on Automotive Software Engineering @ SE19, Stuttgart, Germany 32
werden. Mögliche Fehlerbehandlungsmechanismen sind werden. Bei der Verwendung eines (semi-)transparenten
bspw. die präventive Abschaltung von betroffenen OLED kann ein Wedge-Lightguide oder eine Kamera auch
Funktionen (PD) oder eine abgestufte Funktionsreduktion hinter dem Panel verbaut werden (Fig. 2).
(Graceful Degradation, GD). Eine Graceful Degradation
kann bspw. durch eine auf der Qualitätsbewertung QTP Diese beiden Methoden können prinzipiell einem
basierende Anpassung des Bandbreitenbedarfs per Reduktion Displaymodul hinzugefügt werden, während eine Erfassung
der Auflösung oder Bildwiederholrate erfolgen. der optischen Ausgabe mittels Fotosensoren in jedem Pixel
des Displays [8] bereits bei der Herstellung des elektro-
Ziele der weiteren Arbeiten zur Absicherung der optischen Wandler (z.B. LCD) integriert werden muss.
physikalischen Übertragung sind zum einen die Definition Dieser Ansatz rechnet sich nur bei höchsten Stückzahlen.
geeigneter Funktionen zur Qualitätsbewertung auf Basis der
einzelnen Qualitätsparameter Ein modernes, hochauflösendes Aktiv-Matrix-Display
besteht neben dem eigentlichen elektro-optischen Wandler
QTP = f ( ∆D, CFEC, FCRC, A, B, … ) (Display Glass) aus einer Vielzahl von Mikroprozessoren
und Halbleitern (Panel Electronics). Natürlich setzt eine
und zum anderen die Entwicklung entsprechender Methoden fehlerfreie optische Ausgabe eine ebenso funktionierende
zur abgestuften Funktionsreduktion PD, GD auf Basis dieser Elektronik voraus; im Umkehrschluss können auftretende
Qualitätsbewertung QTP
Fehlfunktionen der Elektronik anhand einer fehlerhaften
PD = f ( QTP ) optischen Ausgabe erkannt werden. Ziel der in der
Panelelektronik umzusetzenden Sicherheitsmechanismen ist
GD = f ( QTP ) die Erkennung von Fehlerfällen wie z.B. ein nicht
kompatibles Eingangssignal oder ein gestörter Bildaufbau.
B. Absicherung des Empfängers (R)
Um im Falle einer Videoübertragung eine Ende-zu-Ende
Absicherung zu erreichen, muss auch die Umwandlung der
digitalen Pixelinformationen in sichtbares Licht durch das
Display überprüft werden.
Sollen aufgetretene Bildfehler oder -degradationen nicht
nur erkannt, sondern auch in deren Ursache bestimmt werden
können, ist neben der optischen Ausgabe auch die
Signalverarbeitungskette innerhalb des Display-Moduls zu
überwachen. Somit kann die Absicherung des Displays Fig. 2. Transparentes OLED mit der Möglichkeit zur optischen Über-
anhand zweier, sich ergänzender Ansätze angestrebt werden: wachung des Displayinhaltes von der Panel-Rückseite
• Optoelektronischer Ansatz: optoelektronische Die elektrischen Ansätze zur Überwachung des Displays
Erfassung der Emission des Displays werden anhand des Blockschaltbildes in Fig. 3 diskutiert. Im
• Elektrischer Ansatz: Messung von elektrischen Wesentlichen sind in der Panelelektronik folgende Kompo-
Größen (bspw. Stromverbrauch) und Überwachung nenten enthalten:
der Daten-Signale im Display-Modul
• Das Display Interface (De-Serializer) empfängt die
Optoelektronische Methoden basieren auf der Erfassung darzustellenden Daten über eine serielle Schnittstelle
des dargestellten Bildes mittels eines optischen Systems und (ähnlich HDMI) und wandelt diese typischerweise
dessen Vergleich mit den empfangenen Bilddaten oder auf LVDS Signale für den Timing Controller um.
Metadaten der Bildgenerierung in der Kamera. Ultimativ
• Der Timing Controller (TCON, z.B. [1]) formatiert
sollte die Lichtinformation der einzelnen Pixel erfasst
den Input-Bilddatenstrom in Signale (z.B. [4]) für
werden. Hierfür ist es erforderlich, die zeitliche Intensität
Zeilen- (row driver) und Spaltentreiber (column
sowie die Ortskoordinaten der von den Pixeln ausgesendeten
driver) um.
Lichtstrahlen und somit ein zweidimensionales Lichtfeld
I(x,y,t) zu erfassen. Ziel ist es hierbei, die Bildintegrität und • Die Zeilentreiber steuern eine Zeile nach der anderen
die Erkennbarkeit des Bildinhaltes zu ermitteln. an, während die Spaltentreiber (z.B. [5]) die
zugehörigen Graustufen-Daten einspielen.
Naheliegend ist die Erfassung der optischen Ausgabe
mittels einer vor dem Display angebrachten Kamera, • Der Gamma- und VCOM-Buffer stellt LCD-
wodurch ein hoher Grad der Fehlererkennung erreicht wird. spezifische Spannungen zur Verfügung.
Diese kann jedoch aus bautechnischen Gründen nicht in allen • Das LCD-Backlight stellt die Lichtquelle des LCDs
Fällen eingesetzt werden und der erforderliche Auswerte- dar.
und Analyseaufwand ist hoch.
Naheliegende Ansätze zur Fehlererkennung und -analyse
Eine abgewandelte Methode ist die Erfassung der sind die Spannungs-, Strom-, Leistungs- und Signal-
optischen Ausgabe mittels eines auf das Displayglas Überwachungen aller oben aufgeführten Panelelektronik-
aufgebrachten Wedge-Lightguide [7]. Dieser Lichtleiter kann Komponenten.
in Form einer dünnen, semitransparenten Folie einen Teil der
Bei einem OLED-Display ist der Stromverbrauch
Intensität der Lichtstrahlen zu einem optoelektrischen Sensor
maßgeblich durch die Graustufen der Pixel bestimmt. Somit
weiterleiten, ohne dass deren Ortsinformation verloren geht.
stellt der Abgleich zwischen Stromverbrauch und Grau-
Anstatt einer Kamera können dort auch niedrigauflösende
stufen-Histogramm eine erste und einfache Überwachung bei
Sensoren als Kompromiss zwischen Signalver-
OLEDs dar. Mit erweiterten Methoden im Zeitbereich und
arbeitungsleistung und Informationsgehalt eingesetzt
ASE 2019: 16th Workshop on Automotive Software Engineering @ SE19, Stuttgart, Germany 33
Referenzmessungen ist dies auch bei LCDs möglich. Es ist C. Komponentenübergreifende Absicherung: Hashing
offensichtlich, dass in beiden Fällen bei keiner oder nur sehr Moderne Autos zeigen dem Fahrer hochqualitative
geringer Leistungsaufnahme kein Bild dargestellt wird. Videodaten an. Anpassungen an die Umgebung und
Augmentieren mit Hilfslinien und Symbolen unterstützen
den Fahrer zusätzlich in der Durchführung seiner
Fahraufgaben. Dafür kann das originale Kamerabild
verschiedene Verarbeitungsschritte durchlaufen. Diese
Bearbeitungsschritte sind i.d.R. nicht gemäß eines definierten
Automotive Safety Integrity Level (ASIL) gemäß ISO 26262
abgesichert, sondern zumindest in Teilen auf QM-Level
realisiert.
Ein videoübertragendes System muss in einem solchen
Fall gewährleisten, dass das originale und bearbeitete Bild
von Betrachter gleich bzw. ähnlich wahrgenommen werden
und für die Durchführung der Fahraufgabe notwendige
Fig. 3. Typisches Blockschaltbild eines LCD-Displaymoduls
Bildinformationen nicht verloren gehen.
Die digitalen Signale am Eingang und im Panel können Eine weit verbreitete Methode für einen solchen
bezüglich ihrer Frequenz, Dauer, Austastlücken etc., d.h. des Bildvergleich ist die Scale-Invariant Feature Transform
korrekten Timings, überwacht werden (Timing- (SIFT) [2]. Dieses und ähnliche Bildabsicherungsverfahren
Überwachung der digitalen Signale). Bei Abwesenheit oder basieren auf Features wie z.B. den sogenannten Harris
falschem Timing wird typischerweise kein oder nur ein Corners. Ein direkter Einsatz für die Absicherung eines
gestörtes Bild visualisiert. Eine weitere, klassische Methode Modifiers ist jedoch nicht zielführend, da diese speziellen
ist die Nutzung von Error-Detection Codes, bspw. die Verfahren mit dem Hintergrund der Objekterkennung ent-
Kontrolle des CRC über die Bilddaten. wickelt wurden und nicht die ‚Identität‘ eines Bildes be-
rücksichtigen. Dennoch können manche Aspekte dieser
Aufwändigere Überwachungsmethoden basieren auf der
Algorithmen für unsere Anwendung herangezogen werden
Analyse darzustellender Bildinhalte (geliefert über die
[1].
Metadaten) und deren Vergleich mit den Daten im
Bilddatenstrom. Ein Telltale-Monitoring durch z.B. Abgleich Eine probate Methode, die Datenintegrität einer Bild-
einer Höchstgeschwindigkeitsinformation (darzustellender übertragung mit Bildverarbeitung (vgl. Fig. 1) zu gewähr-
Bildinhalt) mit dem dargestellten Verkehrszeichens (Daten leisten, ist es, mit einer Hash-Funktion h ein beschreibendes
im Bilddatenstrom) ist Stand der Technik [6]. Label des Bildes I, das am Anfang der Übertragungsstrecke
steht, zu erzeugen.
In Summe existiert displayseitig eine Vielzahl von
Mechanismen zur Fehlererkennung mit unterschiedlicher h:I→E
Effektivität und sehr unterschiedlichen Kostenindikationen.
Der Output der Hash-Funktion E enthält die be-
Viele fehlerhafte Darstellungen auf einem Display sind schreibenden Eigenschaften des Bildes. E benötigt nur einen
vom Betrachter problemlos als solche zu identifizieren Bruchteil der Datenmenge von I und kann entweder in den
(perceived faults), z.B. der Nichtempfang von Bildern Austastlücken der Pixeldaten oder als Bestandteil der
(FM08) oder bestimmte Bildstörungen. Kritischer sind kaum Metadaten geleitet werden. Am Ende der Über-
zu erkennende Fehler wie falsche Graustufen-Spannungen, tragungsstrecke ist das Bild I'', das aufgrund der möglichen
die wichtige Bildinhalte quasi „unsichtbar“ werden lassen Bildbearbeitung pixelweise stark vom Originalbild I ab-
oder eine Bildverzögerung (FM06). Die einzusetzenden weichen kann. Das bearbeitete Bild I'' hat dann den Hash-
Fehlererkennungsmechanismen sollten daher auf diese Wert von E''.
Fehlerarten fokussieren.
h : I'' → E''
Als möglicher Fehlerbehandlungsmechanismus, bspw.
bei fortwährenden CRC-Fehlern, kommt die präventive Ab- Die Herausforderung ist es nun, ein Verfahren zu ent-
schaltung des LCD-Backlights PD (sicherer Zustand ‚keine wickeln, das die Unterscheidung zwischen gewünschten und
Bilddarstellung‘ bzw. ‚Anzeige eines (dunklen) fehlerhaft veränderten Bildern (inhaltlich anders) ermöglicht.
Ersatzbildes‘) in Frage. Der Kern der Technologie liegt im Entwurf einer speziellen
Hashfunktion und einer Matching-Funktion, die eine hohe
Anwendungsabhängig kann jedoch auch hier die Anzeige und robuste Diskriminanz aufweisen.
eines degradierten Bildes (Graceful Degradation) GD bei
erkannten Störungen (z.B. digitale Blockartefakte) oder Wichtig ist es zudem, dass E ohne nennenswerte Latenz
Degradationen (z.B. Rauschen) gefordert sein (sicherer erzeugt wird, damit das Verfahren für sicherheitsrelevante
Zustand ‚Anzeige eines degradierten Bildes‘) ggf. in Anwendungen eingesetzt werden kann. Das gleiche gilt auch
Kombination mit einer geeigneten Indikation für den für E'': Dieses muss unmittelbar nach dem Empfang des
Betrachter, dass der Bildinhalt fehlerbehaftet ist. Als Beispiel Bildes I'' erzeugt werden. Auch die Matching-Funktion von
kann der Video Use-Case ‚Überwachung des Fahrzeugs E und E'' soll schnell ein Ergebnis liefern, ob die Videodaten
durch einen Remote-Operator‘ dienen; hierbei erscheint ein ungewünscht verändert oder fehlerhaft übertragen worden
degradiertes Bild nützlicher als das vollständige Unterbinden sind. Die Algorithmen sollen nach Möglichkeit am Anfang
des Informationsflusses. und am Ende der Übertragungsstrecke eingesetzt werden, so
dass eine hohe Integrität der Videodaten erreicht werden
kann.
ASE 2019: 16th Workshop on Automotive Software Engineering @ SE19, Stuttgart, Germany 34
D. Komponentenübergreifende Absicherung: Watermarking Ziel ist es hier entsprechende Synchronisierungs-
Neben den bereits betrachteten, primär einer Kompo- mechanismen für die automobile Videoübertragung zu
nente des Übertragungsmodells für Videodaten zuordenbaren definieren und entsprechend robuste Lösungen für Ein-
Fehlererkennungs- und Fehlerbehandlungsmechanismen bringung in die Markierung und die entsprechende
können weitere, systemübergreifende Mechanismen erfor- Erkennung zu finden.
derlich sein. Als Vertreter dieser Kategorie sollen hier die
Absicherung sicherheitsrelevanter Inhalte mittels IV. SICHERHEITSKONZEPT AUF SYSTEMEBENE
Wasserzeichen und die Absicherung der zeitlichen Systemabhängig muss die Umsetzung der einzelnen
Synchronität betrachtet werden. komponentenbezogenen und übergreifenden Absicherungs-
Je nach Video Use-Case kann ein erzeugter Videoinhalt mechanismen auf Systemebene geeignet kombiniert und
sicherheitsrelevant sein. Derartige Inhalte werden im orchestriert werden.
Rahmen des sicherheitsgerichteten Entwicklungsprozesses Die pauschale Übertragung bekannter Maßnahmen-
gemäß ISO 26262 definiert. Je nach Anwendungsfall gelten kombinationen aus der herkömmlichen Datenübertragung
für diesen Inhalt besondere Anforderungen bezüglich der wie bspw. der Ende-zu-Ende-Absicherung (End-to-end
Anzeige, bspw. kann es vorkommen, dass ein eingefrorener Protection, E2E), welche die Mechanismen Checksumme auf
sicherheitsrelevanter Inhalt IS nicht angezeigt werden darf. Applikationsebene, Botschaftszähler, Timeoutüberwachung
Wird im Fahrzeug ein solcher sicherheitsrelevanter und Senderkennung miteinander kombiniert, auf die hier
Videoinhalt IS erzeugt, kann dieser Videoinhalt zur betrachtete Videodatenübertragung ist jedoch nicht
Absicherung mit einer entsprechenden Markierung zielführend, da diese z.B. nicht tolerant in Bezug auf die
(Wasserzeichen, W) versehen werden. Jedes Display das zulässigen Bildtransformationen sind.
potentiell den Videoinhalt IS anzeigen könnte, muss eine
Methode zur Detektion von des Videoinhalts IS Eine systemabhängige Auswahl der Mechanismen muss
implementieren um eine fehlerhafte Anzeige zu verhindern. dabei abhängig vom Automotive Safety Integrity Level
(ASIL) des betrachteten Sicherheitsziels sowie der Definition
Eine probate Methode dafür ist das Hinzufügen von des sicheren Zustands erfolgen.
Informationen zu den Bilddaten in Form eines sichtbaren /
unsichtbaren, robusten / fragilen Wasserzeichens W. Ein Anwendungsabhängig können dabei typischerweise
Beispiel für eine robuste, unsichtbare Methode des folgende sicheren Zustände unterschieden werden:
Wasserzeichens ist in [14] zu finden. Zusätzlich kann
• SZ01: keine Bilddarstellung
optional ein zufälliger Wert K (z.B. geheimer oder
öffentlicher Schlüssel) verwendet werden. Durch das • SZ02: Anzeige eines Ersatzbildes (z.B. schwarzer
Hinzufügen des Wasserzeichens W und dem Zufallswert K Bildschirm oder Fehlermeldung)
wird die ursprüngliche Bildinformation IS verändert [11]: • SZ03: Anzeige eines Bildes, das vom Betrachter als
eindeutig fehlerhaft erkannt wird
• SZ04: Anzeige eines degradierten Bildes (z.B. Bild
Der Erkennungsprozess kann dann über den folgenden mit geringerer Auflösung oder Frequenz)
Zusammenhang erfolgen [11]:
Kann im Fehlerfall auf die Videodatenübertragung ver-
zichtet werden (Fail Silent oder Fail Safe), bspw. bei einem
elektronischen Seitenspiegel, kann über Fehlererkennungs-
Ziel ist es nun geeignete Methoden für das Hinzufügen
mechanismen eine Fehlfunktion detektiert und das Display
der Markierung, mit entsprechender Robustheit gegenüber
oder die Funktion deaktiviert werden (SZ01) bzw. ein
Veränderungen, sowie entsprechende Methoden zur
Ersatzbild angezeigt werden (SZ02).
Erkennung der Wasserzeichen zu finden. Darüber hinaus
können fragile Wasserzeichen dazu verwendet werden, um Besteht eine Verfügbarkeitsanforderung an die
festzustellen ob eine Änderung an den Videodaten Videodatenübertragung (Fail Operational), muss dagegen
vorgenommen wurde. Auch hier ist es wichtig das Hinzu- auch im Fehlerfall ein hinreichend geignetes Bild angezeigt
fügen, Erkennen (und Entfernen) der Markierung ohne werden. Dies kann über eine Degradierung der
nennenswerte Verzögerung durchzuführen. Videoübertragung (SZ04) oder durch den Wechsel auf eine
redundante Komponente erfolgen.
Ein weiteres Kriterium für die Absicherung der Video-
daten ist die Bewertung des zeitlichen Versatzes ∆tI zwischen Viele der in III. definierten Fehlererkennungs-
dem Originalbild I und dem empfangenen Bild I'' (vgl. Fig. mechanismen können so implementiert werden, dass sie
1). Kenngrößen für einen systeminternen Test (Built-In-Self-
Test, BIST) liefern. Unterschreitet eine Kenngröße oder eine
Kenngrößenkombination einen Schwellwert, kann eine
Eine Realisierungsmöglichkeit dafür besteht in der Fehlerbehandlung bzw. der Übergang in einen sicheren
Kombination einer gemeinsamen Zeitbasis zwischen Sender Zustand (ggf. auch vor Fahrtantritt) getriggert werden.
S und Empfänger R und einem im Bild oder den Metadaten
Zur systemweiten Orchestrierung der Sicherheits-
enthaltenen Zeitstempel. Die zeitliche Synchronisierung
mechanismen wird vorgeschlagen, die Kenngrößen der
könnte bspw. über einen zusätzlichen bidirektionalen
verschiedenen Fehlererkennungsmechanismen in einer
Kommunikationskanal, unter Verwendung von Laufzeit-
dezidierten Safety Unit (SAF) zusammenzufassen. Damit
unterschieden, erreicht werden. Der Zeitstempel könnte im
ergibt sich das in Fig. 4 veranschaulichte generische Modell
Sender als Teil der Markierung, z.B. als Modulation des
einer Sicherheitsarchitektur zur Absicherung der Video-
Zufallswertes K, erfolgen.
datenübertragung.
ASE 2019: 16th Workshop on Automotive Software Engineering @ SE19, Stuttgart, Germany 35
Die identifizierten Sicherheitsmechanismen SM sollen im
weiteren Projektverlauf systematisch auf die identifizierten
Ausfallarten FM abgebildet werden, um einen Baukasten für
(S) Sender (M) Modifier (R) Receiver die Absicherung der verschiedenen Videodatenübertra-
gungen im Fahrzeug bereit zu stellen (Fig. 5). Hierzu gehört
auch eine Abschätzung der Diagnosegüte (Diagnostic
(SAF) Safety Unit
Coverage, DC) der einzelnen Mechanismen. Für Ausfall-
arten, für die der Baukasten bisher nur wenige oder keine
Sicherheitsmechanismen enthält, sollen gezielt weitere
Fig. 4. Modell der Sicherheitsarchitektur Mechanismen entwickelt werden.
Im Rahmen der Anwendung auf ein konkretes System
Die SAF muss dabei nicht als einzelne, separate werden dann zunächst a) die relevanten Fehlermodi identi-
Komponente ausgeführt sein, sondern kann bspw. in einer fiziert und b) für diese eine geeignete Kombination von
der anderen Systemkomponenten verortet sein oder über Sicherheitsmechanismen aus dem Baukasten ausgewählt.
mehre Systemkomponenten (bspw. S und R) verteilt sein. Danach ist c) die generische Sicherheitsarchitektur geeignet
Ebenso kann ein lokaler Datenaustausch zwischen S, T, M zu instantiieren und d) die Sicherheitsmechanismen sind den
und R erforderlich sein, um übergreifende Sicherheits- einzelnen Komponenten der instantiierten Sicherheits-
mechanismen zu realisieren (bspw. ein Kommunikations- architektur zuzuordnen und dort zu implementieren.
kanal zwischen S und R zur zeitlichen Synchronisation).
3
REFERENCES
V. ZUSAMMENFASSUNG UND AUSBLICK
[1] E. Rublee, V. Rabaud, K. Konolige and G. Bradski, “ORB: and
Ausgehend vom Stand der Technik bei der Absicherung efficient alternative to SIFT or SURF”, IEEE Int. Conf. on Computer
der allgemeinen Datenübertragung wurde von den Autoren Vision, 2011.
ein generisches Modell der Videodatenübertragung und ein [2] D. G. Lowe, “Distinctive Image Features from Scale-Invariant
Fehlermodell für eine solche Übertragung vorgeschlagen. Keypoints”, Int. Journal of Computer Vision, Vol.50, No. 2, 2004,
pp.91-110.
Die Modelle umfassen dabei die Veränderung von Bilddaten
durch eine modifizierende Komponente innerhalb der [3] T.-J. Kim, C. Baek, S. Chun, K.-H. Lee, J.-I. Hwang, K. Kwon, Y.-H.
Kim, H.-S. Park, Y. Shin, S. Ryu, J.-Y. Lee, G. Hwang, G. Kim, “A
Übertra-gungsstrecke. timing controller embedded driver IC with 3.24-Gbps eDP interface
for chip-on-glass TFT-LCD applications”, J SOC INF DISPLAY,
Danach wurden vorhandene Sicherheitsmechanismen für Vol. 24, pp. 299-306, 2016, doi: 10.1002/jsid.446
einzelne Komponenten des Übertragungsmodells sowie [4] D. Lee, K. Lee, D. H. Baek, H. Pae, J. Lim, Y. M. Choi, Y. H. Lee,
komponentenübergreifende Sicherheitsmechanismen identi- S.I. Lee, J. Lee, K. Nah and G. Hwang, “A 1.4-Gbps intra-panel
fiziert und zusammengetragen. Dabei identifizierte Lücken interface with low-power and low-EMI schemes for Tablet PC
wurden herausgearbeitet und es wurde damit begonnen, diese applications”, J SOC INF DISPLAY, Vol. 20, pp. 661-668, 2012,
zu schließen. doi:10.1002/jsid.134
[5] Ryu, S.-Y., Baek, D.-H., Lim, H.-W., Han, S.-K., Ryu, K.-H., Park,
K.-H., Park, J.-Y., Lee, J.-M., Kim, T-J., Lee, J.-Y., and Kim, G.-N.,
“A 13-bit universal column driver for various displays of OLED and
LCD”, J SOC INF DISPLAY, Vol. 24, pp. 277–285, 2016, doi:
10.1002/jsid.437
[6] M. Wittmeir, “Image Analysis to Support Functional Safety for
Automotive Displays”, Proceedings of electronic displays
Conference, WEKA, Munich, 2018, ISBN 978-3-645-50169-9
[7] Boual, S. , Large, T. , Buckingham, M. , Travis, A. and Munford, S.,
“Wedge Displays as Cameras”, SID Symposium Digest of Technical
Papers, Vol. 37, pp. 1999-2002, 2006, doi:10.1889/1.2433445
[8] T. Nishibe and H. Nakamura, “Value-added integration of functions
for silicon-on-glass (SOG) based on LTPS technologies”, J SOC INF
DISPLAY, Vol. 15, pp. 151-156, 2007, doi:10.1889/1.2709736
[9] N. Boston, “A Mathematical Foundation for Watermarking”, Preprint
(http://www.math.wisc.edu/~boston/bostonpreps.html).
[10] Galand, Fabien, and Gregory Kabatiansky. "Information hiding by
coverings", Information Theory Workshop, 2003. IEEE, 2003.
[11] F. Petitcolas, R. Anderson and M. Kuhn, “Information Hiding - A
Survey”, Proceedings of the IEEE, special issue on protection of
multimedia content, 87(7):1062–1078, July 1999.
[12] ISO 26262:2011 / ISO/FDIS 26262:2018, Road Vehicles --
Functional Safety. International Standard 2011 / 2018.
[13] ISO 16505:2015, Road Vehicles – Ergonomic and performance
aspects of Camera Monitor Systems – Requirements and test
procedures. International Standard, 2015.
[14] K. Witt, J. Bauer, “A Robust Method for Frozen Frame Detection in
Safety Relevant Video Streams Based on Digital Watermarking”,
Electronic Display Conference, Nuremberg, 2017
[15] B. Kaiser, “Functional Safety of Camera Monitor Systems”, In: A.
Fig. 5. Vorgehensweise zur Auswahl geeigneter Sicherheitsmechanismen Terzis (Ed.), “Handbook of Camera Monitor Systems - The
Automotive Mirror-Replacement Technology based on ISO 16505”,
Springer 2016.
ASE 2019: 16th Workshop on Automotive Software Engineering @ SE19, Stuttgart, Germany 36