Neue Ansätze und Methoden für die Fehlermodellierung und -behandlung bei automobilen Videodatenübertragungsstrecken Jan Bauer Karlheinz Blankenbach Mirko Conrad Daimler AG Hochschule Pforzheim samoconsult GmbH Stuttgart, Germany Pforzheim, Germany Berlin, Germany jan.j.bauer@daimler.com karlheinz.blankenbach@hs-pforzheim.de mirko.conrad@samoconsult.de https://orcid.org/0000-0003-3221-6503 Andreas Hudak Frank Langner Matthäus Vogelmann STZ Electronic Systems GmbH Daimler AG Hochschule Pforzheim Mühlacker, Germany Stuttgart, Germany Pforzheim, Germany andreas.hudak@stz-es.com jan.j.bauer@daimler.com matthaeus.vogelmann@hs-pforzheim.de Chihao Xu Universität des Saarlandes Saarbrücken, Germany chihao.xu@lme.uni-saarland.de Zusammenfassung — Kamera-Monitor-Systeme und die Darüber hinaus werden Videodaten zu Empfängern damit einhergehende digitale Übertragung von Videodaten außerhalb des Fahrzeugs übertragen, wie z.B. für kommen zunehmend in sicherheitsrelevanten Systemen im automatisierte Parkvorgänge. Auch hier kann bspw. die Kraftfahrzeug zum Einsatz. Um sicherheitsrelevantes Verknüpfung der Bildinformation mit einer eventuellen Fehlverhalten zu vermeiden, müssen diese Systeme gegen Entscheidung für die Fahrzeugbewegung sicherheitsrelevant Fehler und Ausfälle abgesichert werden. Der Beitrag schlägt sein. ein Fehlermodell für die Videodatenübertragung vor und skizziert mögliche Sicherheitsmechanismen zur Fehler- Im Rahmen einer Bestandsaufnahme wurden von den erkennung und -behandlung. Autoren mehr als 20 Use-Cases mit Videoübertragung (Video Use-Cases) identifiziert, die potentiell funktional Abstract — Camera monitor systems and the associated abgesichert werden müssen. digital transmission of video data are increasingly being used in safety-relevant automotive systems. To avoid safety-related Die Videoübertragung ist ein Spezialfall der malfunctioning behavior, these systems must be protected Datenübertragung. Die Videoübertragung unterscheidet sich against faults and failures. This paper proposes a fault model dabei, in der hohen Bandbreite in eine Übertragungsrichtung for video data transmission and outlines possible safety und die in den meisten Fällen verbindungslose Übermittlung mechanisms to detect and handle faults in video links (d.h. es findet kein expliziter Aufbau einer Kommunikations- beziehung vor dem Datenaustausch statt) in einem soge- Keywords — Camera Monitor Systems (CMS), Video Data nannten Pixel-Stream. Transmission, Fault Model, Functional Safety, ISO 26262 Die übertragenen Videodaten werden dann entweder (RD) über eine Anzeige in ortsaufgelöste Lichtinformation I. EINLEITUNG umgesetzt und als Bild von einem Betrachter In modernen Fahrzeugen werden Videodaten oft wahrgenommen, oder (RP) von einem Videoprozessor mit zwischen mehreren Kameras, Bildprozessoren und Displays einem Algorithmus weiterverarbeitet, um entsprechende übertragen. Die gesteigerte Anzahl der Komponenten mit Merkmale der Umgebung wie z.B. Verkehrszeichen zu einer notwendigen Partizipation an der erkennen. Der Fall (RP) geht dabei über die Funktionalität Videodatenübertragung ist auf der Kameraseite durch die herkömmlicher Kamera-Monitor-Systeme (Camera Monitor Verbreitung von videobasierten Assistenzsystemen und auf Systems, CMS [13]) hinaus. der Displayseite durch den gesteigerten Bedarf, diese Informationen adäquat dem Fahrer und Passagieren Im Fall (RD) kann zur Verbesserung der darzustellen, begründet. Wird ein Kamerabild auf einem Benutzererfahrung (User-Experience) eine Bildverbesserung Display dargestellt, kann es durch die Darstellung von beispielsweise unter Nutzung von Farbraumkonvertierungen fahrrelevanten Informationen zu Anforderungen bezüglich oder durch eine Überlagerung mit zusätzlichen Inhalten der funktionalen Sicherheit kommen. erfolgen. Weiter werden die Eigenschaften der visuellen Wahrnehmung genutzt, um z.B. durch Kompression der Teil-, hoch- oder vollautomatisierte Fahrzeuge beziehen Videodaten die Effizienz der Übertragung zu optimieren. einen nicht unerheblichen Teil der Information über ihre Verfahren für die Absicherung müssen in diesem Fall Umgebung von bildgebenden Aufnahmeverfahren. Werden entsprechend robust gegenüber den (validen) Änderungen die dort anfallenden Videodaten im Fahrzeug übertragen, der Bildverbesserung, Überlagerung und Kompression sein. müssen zur Gewährleistung der Funktionssicherheit Gleichzeitig müssen ungültige Änderungen wie z.B. ebenfalls Maßnahmen ergriffen werden. einfrieren des Bilds erkannt werden. Sowohl bei (RD) als ASE 2019: 16th Workshop on Automotive Software Engineering @ SE19, Stuttgart, Germany 30 auch bei (RP) muss die Integrität der Daten und die • Hinzufügen von Information (insertion of infor- verzögerungsfreie Übertragung sichergestellt werden. mation) Viele der derzeit bekannten bzw. verwendeten • Informationsverzögerung (delay of information) Mechanismen zur Absicherung der Datenübertragung bei • Maskeradefehler oder fehlerhafte Adressierung Fehlern und Ausfällen sind für die allgemeine (masquerade or incorrect addressing of information) Datenübertragung ausgelegt und betrachten den Sonderfall • Nichtempfang oder nichtintendierter Empfang von der Videoübertragung nicht im benötigten Umfang. Hieraus Informationen (asymmetric information sent from a ergeben sich potentielle Lücken bei der Gewährleistung der sender to multiple receivers, information from a Funktionssicherheit [12] bei vielen state-of-the-art als auch sender received by only a subset of the receivers) bei zukünftigen Video Use-Cases. Beispielsweise gibt es nur beschränkte Mechanismen, um festzustellen ob Videodaten • Verhinderung des Zugriffs auf einen korrekt übertragen und durch das Display in die Kommunikationskanal (blocking access to a commu- entsprechende Lichtinformation umgesetzt wurden. nication channel) Im vorliegenden Paper wird ein Konzept vorgestellt, dass Anhand eines derartigen Fehlermodells kann die eine funktionale Absicherung von Videoübertragungen von Wirksamkeit von Sicherheitsmechanismen zur Fehler- der Quelle (nach Erzeugung der Pixel) bis zur Umwandlung erkennung bzw. -vermeidung systematisch analysiert der Pixel in optische Information (RD) bzw. zum Empfänger werden. Da den Autoren ein angepasstes Fehlermodell für (RP) ermöglicht. Dabei werden bekannte Verfahren zur den Spezialfall der Übertragung von Videodaten nicht Absicherung der Qualität bei Videoübertragungen für die bekannt ist soll ein solches nachfolgend erarbeitet werden. Nutzung innerhalb der funktionalen Sicherheit betrachtet und Hierfür wird das in Fig. 1 illustrierte generische Modell mit neuen Verfahren kombiniert, um eine möglichst einer Videodatenübertragungsstrecke zugrunde gelegt. Eine holistische Absicherung der Videoübertragungskette zu Videoübertragungsstrecke besteht aus einem Sender (Sender, erreichen. S), einem Übertragungskanal (Transmission, T) und einem Empfänger (Receiver, R). Dabei können S, T und R aus II. ABLEITUNG EINES FEHLERMODELLS FÜR DIE mehreren Teilen bestehen. ÜBERTRAGUNG VON VIDEODATEN Im Falle eines Rückfahrkamera- (Rear View Camera) Voraussetzung für die systematische Absicherung eines Systems werden die aus den eigentlichen Pixeldaten und technischen Systems, bspw. eines Systems zur zugehörigen Metadaten bestehenden Videodaten (I) bspw. Videodatenübertragung, ist die Kenntnis der möglichen durch eine Rückfahrkamera erzeugt und von dieser über Ausfallarten (failure modes), die in diesem System auftreten einen ungesicherten (sog. grauen) Kanal digital an den können, also die Definition eines geeigneten Fehlermodells Empfänger (I'') bspw. ein Monitor in der Mittelkonsole (fault model). übertragen (Fig. 1). Die Übertragung T: I→I'' kann dabei Für die klassische Datenübertragung kann ein solches drahtgebunden als auch drahtlos erfolgen. Fehlermodell aus der Funktionssicherheitsnorm ISO 26262 Eine zusätzliche Herausforderung ergibt sich dadurch, [12] abgeleitet werden. dass sich optional innerhalb des ungesicherten Über- Um eine hohe Fehleraufdeckung zu gewährleisten, tragungskanals weitere Elektronikkomponenten, genannt müssen die folgenden Ausfallarten berücksichtigt werden: Modifier (M) befinden können, die die zu übertragenden Videodaten auf bestimmte Art und Weise verändern können • Informationsverfälschung (corruption of information) (I*). • Informationsverlust (loss of information) In dem in Fig. 1 dargestellten Rear View Camera System • fehlerhafte Informationsabfolge (incorrect sequence könnte eine zwischengeschaltete Head Unit bspw. die of information) Bildhelligkeit oder den Kontrast optimieren, ein Kamerabild • Informationswiederholung (repetition of information) skalieren, es in ein größeres Gesamtbild einbetten oder augmentieren. (S) Sender (M) Modifier (R) Receiver ❑ Rear View Camera ❑ Head Unit ❑ Center Console Display I1, I2, I3, I4, … I’x = F(Ix) I*x = F(I’x) I”x = F(I*x) I”1, I”2, I”3, I”4, … Pixel data Meta data Fig. 1. Modell der Videodatenübertragungsstrecke ASE 2019: 16th Workshop on Automotive Software Engineering @ SE19, Stuttgart, Germany 31 Zulässige Bildtransformationen sollen dabei durch die A. Absicherung des Übertragungskanals (T) Sicherheitsmechanismen toleriert werden. Unzulässige Für Videoübertragungen können prinzipiell verschiedene Bildtransformationen, die bspw. dazu führen, dass der physikalische Übertragungsverfahren und Übertragungs- Nutzer die relevanten Bildinformationen nicht mehr medien verwendet werden. Heutige Verfahren für die erkennen kann, sollen dagegen erkannt werden. Videoübertragung im Fahrzeug verwenden vornehmlich Voraussetzung für die Entwicklung und vor allem die elektrische drahtgebundene Verfahren, daher soll sich an Bewertung von Mechanismen für die Absicherung der dieser Stelle auf die elektrischen drahtgebundenen Videodatenübertragung ist die Aufstellung eines geeigneten Verfahren fokussiert werden. Heutige Mechanismen zur Fehlermodells für eine Videodatenübertragung. Absicherung der physikalischen Übertragungsschicht haben das Ziel, die Qualität der Videoübertagung sicherzustellen, Prinzipiell können zunächst einmal die gleichen d.h. Ausfälle und Störungen zu erkennen und / oder zu Ausfallarten wie bei der klassischen Datenübertragung vermeiden. auftreten, d.h. das Fehlermodell für die Video- datenübertragung muss daher mindestens die o.g. Ausfall- Dazu zählt die Erkennung von Fehlern der physika- arten berücksichtigen: lischen Verbindung (Line Fault Detection) mit den Möglich- keiten: • FM01: Bildverfälschung • Verbindungsunterbrechung • FM02: Bildverlust • Kurzschluss nach Masse • FM03: fehlerhafte Bildabfolge • Kurzschluss zur Versorgungsspannung (oder anderen • FM04: Bildwiederholung Spannungen) • FM05: Hinzufügen von Bildern • Kurzschluss zwischen den Übertragungsleitungen • FM06: Bildverzögerung • erhöhter Leitungswiderstand zwischen Sender und • FM07: Maskeradefehler oder fehlerhafte Adressierung Empfänger • FM08: Nichtempfang oder nichtintendierter Empfang • fehlerhafter Leitungsabschluss von Bilden Besteht eine physikalische Verbindung, kann bspw. über • FM09: Verhinderung des Zugriffs auf eine Bild- die Aussendung eines Testsignals vom Sender zum übertragungsstrecke Empfänger, den dortigen Empfang und die Rückmeldung an Darüber hinaus wurden weitere videospezifische den Sender die logische Verbindung beidseitig überprüft Ausfallarten identifiziert, die ebenfalls berücksichtigt werden werden. Der Zustand der logischen Verbindung wird in müssen. Hierzu gehören z.B.: vielen automotive Übertragungssystemen mit einem Link- Lock signalisiert. • FM10: eingefrorenes Bild (frozen image) Die Übertragung der Videodaten über einen Über- • FM11: fehlerhafter Bildausschnitt / Vergrößerungs- tragungskanal kann durch Error-Detection Codes (EDC), faktor (erroneous field of view / zoom factor) bspw. die Verwendung eines Cyclic Redundancy Checks • FM12: fehlerhafte Bildgröße (erroneous image size) (CRC), abgesichert werden. Auf diese Weise können • FM13: fehlerhafte Metadaten (erroneous meta data) eventuelle elektro-magnetische Störungen auf der Video- übertragungsstrecke erkannt werden. Die Verwendung von • FM14: fehlerhafte Bilddarstellung (erroneous image Error-Correction Codes (ECC) erlaubt eine Forward Error display) Correction (FEC), also eine automatische Korrektur • FM15: Verlust notwendiger Bildinformation (loss of bestimmter Übertragungsfehler. essential image information) Neben der Möglichkeit, Fehler zu erkennen bzw. zu • FM16: fehlerhafte Bildtransformation (unintended korrigieren, können aus den genannten Verfahren die image transformation) aktuelle Anzahl der Übertragungsfehler aus der CRC- Auswertung (FCRC) bzw. Anzahl der Fehlerkorrekturen III. SICHERHEITSMECHANISMEN (CFEC) abgeleitet werden und als Messgröße für die Qualität Um die o.g. Fehlermöglichkeiten zu erkennen bzw. zu der physikalischen Verbindung QTP verwendet werden. Diese behandeln, wurden von den Autoren bekannte Sicher- Qualitätsbewertung der physikalischen Verbindung QTP kann heitsmechanismen für die einzelnen Bestandteile der Video- durch Messung der physikalischen Empfangseigenschaften datenübertragung zusammengetragen und potentielle Lücken wie bspw. der vertikalen, horizontalen Augenöffnung (A, B) identifiziert. erweitert werden. Diese Vorgehensweise wird in den folgenden Darüber hinaus verwenden heutige Videoübertragungs- Unterabschnitten anhand der Beispiele Absicherung des strecken Ausgleichsfilter auf Frequenzbasis (Equalizer) zum Übertragungskanals T auf physikalischer Ebene (Unter- Ausgleich der frequenzabhängigen Dämpfung auf der abschnitt A) und Absicherung des Empfängers R in Form Übertragungsstrecke. Der Abstand der aktuellen zur eines Displays (Unterabschnitt B) beschrieben. Darüber maximal möglichen Aussteuerung dieser Filter über die hinaus werden komponentenübergreifende (systemweite) Frequenz ∆D(f) kann als weiterer Parameter für die Quali- Absicherungsverfahren mittels Hashing und Watermarking tätsbewertung der Übertragungsstrecke genutzt werden. beschrieben (Unterabschnitte C, D). Wird ein zu definierender Schwellwert für die Qualität der Übertragungsstrecke QTP unterschritten, können dann entsprechende Fehlerbehandlungsmechanismen aktiviert ASE 2019: 16th Workshop on Automotive Software Engineering @ SE19, Stuttgart, Germany 32 werden. Mögliche Fehlerbehandlungsmechanismen sind werden. Bei der Verwendung eines (semi-)transparenten bspw. die präventive Abschaltung von betroffenen OLED kann ein Wedge-Lightguide oder eine Kamera auch Funktionen (PD) oder eine abgestufte Funktionsreduktion hinter dem Panel verbaut werden (Fig. 2). (Graceful Degradation, GD). Eine Graceful Degradation kann bspw. durch eine auf der Qualitätsbewertung QTP Diese beiden Methoden können prinzipiell einem basierende Anpassung des Bandbreitenbedarfs per Reduktion Displaymodul hinzugefügt werden, während eine Erfassung der Auflösung oder Bildwiederholrate erfolgen. der optischen Ausgabe mittels Fotosensoren in jedem Pixel des Displays [8] bereits bei der Herstellung des elektro- Ziele der weiteren Arbeiten zur Absicherung der optischen Wandler (z.B. LCD) integriert werden muss. physikalischen Übertragung sind zum einen die Definition Dieser Ansatz rechnet sich nur bei höchsten Stückzahlen. geeigneter Funktionen zur Qualitätsbewertung auf Basis der einzelnen Qualitätsparameter Ein modernes, hochauflösendes Aktiv-Matrix-Display besteht neben dem eigentlichen elektro-optischen Wandler QTP = f ( ∆D, CFEC, FCRC, A, B, … ) (Display Glass) aus einer Vielzahl von Mikroprozessoren und Halbleitern (Panel Electronics). Natürlich setzt eine und zum anderen die Entwicklung entsprechender Methoden fehlerfreie optische Ausgabe eine ebenso funktionierende zur abgestuften Funktionsreduktion PD, GD auf Basis dieser Elektronik voraus; im Umkehrschluss können auftretende Qualitätsbewertung QTP Fehlfunktionen der Elektronik anhand einer fehlerhaften PD = f ( QTP ) optischen Ausgabe erkannt werden. Ziel der in der Panelelektronik umzusetzenden Sicherheitsmechanismen ist GD = f ( QTP ) die Erkennung von Fehlerfällen wie z.B. ein nicht kompatibles Eingangssignal oder ein gestörter Bildaufbau. B. Absicherung des Empfängers (R) Um im Falle einer Videoübertragung eine Ende-zu-Ende Absicherung zu erreichen, muss auch die Umwandlung der digitalen Pixelinformationen in sichtbares Licht durch das Display überprüft werden. Sollen aufgetretene Bildfehler oder -degradationen nicht nur erkannt, sondern auch in deren Ursache bestimmt werden können, ist neben der optischen Ausgabe auch die Signalverarbeitungskette innerhalb des Display-Moduls zu überwachen. Somit kann die Absicherung des Displays Fig. 2. Transparentes OLED mit der Möglichkeit zur optischen Über- anhand zweier, sich ergänzender Ansätze angestrebt werden: wachung des Displayinhaltes von der Panel-Rückseite • Optoelektronischer Ansatz: optoelektronische Die elektrischen Ansätze zur Überwachung des Displays Erfassung der Emission des Displays werden anhand des Blockschaltbildes in Fig. 3 diskutiert. Im • Elektrischer Ansatz: Messung von elektrischen Wesentlichen sind in der Panelelektronik folgende Kompo- Größen (bspw. Stromverbrauch) und Überwachung nenten enthalten: der Daten-Signale im Display-Modul • Das Display Interface (De-Serializer) empfängt die Optoelektronische Methoden basieren auf der Erfassung darzustellenden Daten über eine serielle Schnittstelle des dargestellten Bildes mittels eines optischen Systems und (ähnlich HDMI) und wandelt diese typischerweise dessen Vergleich mit den empfangenen Bilddaten oder auf LVDS Signale für den Timing Controller um. Metadaten der Bildgenerierung in der Kamera. Ultimativ • Der Timing Controller (TCON, z.B. [1]) formatiert sollte die Lichtinformation der einzelnen Pixel erfasst den Input-Bilddatenstrom in Signale (z.B. [4]) für werden. Hierfür ist es erforderlich, die zeitliche Intensität Zeilen- (row driver) und Spaltentreiber (column sowie die Ortskoordinaten der von den Pixeln ausgesendeten driver) um. Lichtstrahlen und somit ein zweidimensionales Lichtfeld I(x,y,t) zu erfassen. Ziel ist es hierbei, die Bildintegrität und • Die Zeilentreiber steuern eine Zeile nach der anderen die Erkennbarkeit des Bildinhaltes zu ermitteln. an, während die Spaltentreiber (z.B. [5]) die zugehörigen Graustufen-Daten einspielen. Naheliegend ist die Erfassung der optischen Ausgabe mittels einer vor dem Display angebrachten Kamera, • Der Gamma- und VCOM-Buffer stellt LCD- wodurch ein hoher Grad der Fehlererkennung erreicht wird. spezifische Spannungen zur Verfügung. Diese kann jedoch aus bautechnischen Gründen nicht in allen • Das LCD-Backlight stellt die Lichtquelle des LCDs Fällen eingesetzt werden und der erforderliche Auswerte- dar. und Analyseaufwand ist hoch. Naheliegende Ansätze zur Fehlererkennung und -analyse Eine abgewandelte Methode ist die Erfassung der sind die Spannungs-, Strom-, Leistungs- und Signal- optischen Ausgabe mittels eines auf das Displayglas Überwachungen aller oben aufgeführten Panelelektronik- aufgebrachten Wedge-Lightguide [7]. Dieser Lichtleiter kann Komponenten. in Form einer dünnen, semitransparenten Folie einen Teil der Bei einem OLED-Display ist der Stromverbrauch Intensität der Lichtstrahlen zu einem optoelektrischen Sensor maßgeblich durch die Graustufen der Pixel bestimmt. Somit weiterleiten, ohne dass deren Ortsinformation verloren geht. stellt der Abgleich zwischen Stromverbrauch und Grau- Anstatt einer Kamera können dort auch niedrigauflösende stufen-Histogramm eine erste und einfache Überwachung bei Sensoren als Kompromiss zwischen Signalver- OLEDs dar. Mit erweiterten Methoden im Zeitbereich und arbeitungsleistung und Informationsgehalt eingesetzt ASE 2019: 16th Workshop on Automotive Software Engineering @ SE19, Stuttgart, Germany 33 Referenzmessungen ist dies auch bei LCDs möglich. Es ist C. Komponentenübergreifende Absicherung: Hashing offensichtlich, dass in beiden Fällen bei keiner oder nur sehr Moderne Autos zeigen dem Fahrer hochqualitative geringer Leistungsaufnahme kein Bild dargestellt wird. Videodaten an. Anpassungen an die Umgebung und Augmentieren mit Hilfslinien und Symbolen unterstützen den Fahrer zusätzlich in der Durchführung seiner Fahraufgaben. Dafür kann das originale Kamerabild verschiedene Verarbeitungsschritte durchlaufen. Diese Bearbeitungsschritte sind i.d.R. nicht gemäß eines definierten Automotive Safety Integrity Level (ASIL) gemäß ISO 26262 abgesichert, sondern zumindest in Teilen auf QM-Level realisiert. Ein videoübertragendes System muss in einem solchen Fall gewährleisten, dass das originale und bearbeitete Bild von Betrachter gleich bzw. ähnlich wahrgenommen werden und für die Durchführung der Fahraufgabe notwendige Fig. 3. Typisches Blockschaltbild eines LCD-Displaymoduls Bildinformationen nicht verloren gehen. Die digitalen Signale am Eingang und im Panel können Eine weit verbreitete Methode für einen solchen bezüglich ihrer Frequenz, Dauer, Austastlücken etc., d.h. des Bildvergleich ist die Scale-Invariant Feature Transform korrekten Timings, überwacht werden (Timing- (SIFT) [2]. Dieses und ähnliche Bildabsicherungsverfahren Überwachung der digitalen Signale). Bei Abwesenheit oder basieren auf Features wie z.B. den sogenannten Harris falschem Timing wird typischerweise kein oder nur ein Corners. Ein direkter Einsatz für die Absicherung eines gestörtes Bild visualisiert. Eine weitere, klassische Methode Modifiers ist jedoch nicht zielführend, da diese speziellen ist die Nutzung von Error-Detection Codes, bspw. die Verfahren mit dem Hintergrund der Objekterkennung ent- Kontrolle des CRC über die Bilddaten. wickelt wurden und nicht die ‚Identität‘ eines Bildes be- rücksichtigen. Dennoch können manche Aspekte dieser Aufwändigere Überwachungsmethoden basieren auf der Algorithmen für unsere Anwendung herangezogen werden Analyse darzustellender Bildinhalte (geliefert über die [1]. Metadaten) und deren Vergleich mit den Daten im Bilddatenstrom. Ein Telltale-Monitoring durch z.B. Abgleich Eine probate Methode, die Datenintegrität einer Bild- einer Höchstgeschwindigkeitsinformation (darzustellender übertragung mit Bildverarbeitung (vgl. Fig. 1) zu gewähr- Bildinhalt) mit dem dargestellten Verkehrszeichens (Daten leisten, ist es, mit einer Hash-Funktion h ein beschreibendes im Bilddatenstrom) ist Stand der Technik [6]. Label des Bildes I, das am Anfang der Übertragungsstrecke steht, zu erzeugen. In Summe existiert displayseitig eine Vielzahl von Mechanismen zur Fehlererkennung mit unterschiedlicher h:I→E Effektivität und sehr unterschiedlichen Kostenindikationen. Der Output der Hash-Funktion E enthält die be- Viele fehlerhafte Darstellungen auf einem Display sind schreibenden Eigenschaften des Bildes. E benötigt nur einen vom Betrachter problemlos als solche zu identifizieren Bruchteil der Datenmenge von I und kann entweder in den (perceived faults), z.B. der Nichtempfang von Bildern Austastlücken der Pixeldaten oder als Bestandteil der (FM08) oder bestimmte Bildstörungen. Kritischer sind kaum Metadaten geleitet werden. Am Ende der Über- zu erkennende Fehler wie falsche Graustufen-Spannungen, tragungsstrecke ist das Bild I'', das aufgrund der möglichen die wichtige Bildinhalte quasi „unsichtbar“ werden lassen Bildbearbeitung pixelweise stark vom Originalbild I ab- oder eine Bildverzögerung (FM06). Die einzusetzenden weichen kann. Das bearbeitete Bild I'' hat dann den Hash- Fehlererkennungsmechanismen sollten daher auf diese Wert von E''. Fehlerarten fokussieren. h : I'' → E'' Als möglicher Fehlerbehandlungsmechanismus, bspw. bei fortwährenden CRC-Fehlern, kommt die präventive Ab- Die Herausforderung ist es nun, ein Verfahren zu ent- schaltung des LCD-Backlights PD (sicherer Zustand ‚keine wickeln, das die Unterscheidung zwischen gewünschten und Bilddarstellung‘ bzw. ‚Anzeige eines (dunklen) fehlerhaft veränderten Bildern (inhaltlich anders) ermöglicht. Ersatzbildes‘) in Frage. Der Kern der Technologie liegt im Entwurf einer speziellen Hashfunktion und einer Matching-Funktion, die eine hohe Anwendungsabhängig kann jedoch auch hier die Anzeige und robuste Diskriminanz aufweisen. eines degradierten Bildes (Graceful Degradation) GD bei erkannten Störungen (z.B. digitale Blockartefakte) oder Wichtig ist es zudem, dass E ohne nennenswerte Latenz Degradationen (z.B. Rauschen) gefordert sein (sicherer erzeugt wird, damit das Verfahren für sicherheitsrelevante Zustand ‚Anzeige eines degradierten Bildes‘) ggf. in Anwendungen eingesetzt werden kann. Das gleiche gilt auch Kombination mit einer geeigneten Indikation für den für E'': Dieses muss unmittelbar nach dem Empfang des Betrachter, dass der Bildinhalt fehlerbehaftet ist. Als Beispiel Bildes I'' erzeugt werden. Auch die Matching-Funktion von kann der Video Use-Case ‚Überwachung des Fahrzeugs E und E'' soll schnell ein Ergebnis liefern, ob die Videodaten durch einen Remote-Operator‘ dienen; hierbei erscheint ein ungewünscht verändert oder fehlerhaft übertragen worden degradiertes Bild nützlicher als das vollständige Unterbinden sind. Die Algorithmen sollen nach Möglichkeit am Anfang des Informationsflusses. und am Ende der Übertragungsstrecke eingesetzt werden, so dass eine hohe Integrität der Videodaten erreicht werden kann. ASE 2019: 16th Workshop on Automotive Software Engineering @ SE19, Stuttgart, Germany 34 D. Komponentenübergreifende Absicherung: Watermarking Ziel ist es hier entsprechende Synchronisierungs- Neben den bereits betrachteten, primär einer Kompo- mechanismen für die automobile Videoübertragung zu nente des Übertragungsmodells für Videodaten zuordenbaren definieren und entsprechend robuste Lösungen für Ein- Fehlererkennungs- und Fehlerbehandlungsmechanismen bringung in die Markierung und die entsprechende können weitere, systemübergreifende Mechanismen erfor- Erkennung zu finden. derlich sein. Als Vertreter dieser Kategorie sollen hier die Absicherung sicherheitsrelevanter Inhalte mittels IV. SICHERHEITSKONZEPT AUF SYSTEMEBENE Wasserzeichen und die Absicherung der zeitlichen Systemabhängig muss die Umsetzung der einzelnen Synchronität betrachtet werden. komponentenbezogenen und übergreifenden Absicherungs- Je nach Video Use-Case kann ein erzeugter Videoinhalt mechanismen auf Systemebene geeignet kombiniert und sicherheitsrelevant sein. Derartige Inhalte werden im orchestriert werden. Rahmen des sicherheitsgerichteten Entwicklungsprozesses Die pauschale Übertragung bekannter Maßnahmen- gemäß ISO 26262 definiert. Je nach Anwendungsfall gelten kombinationen aus der herkömmlichen Datenübertragung für diesen Inhalt besondere Anforderungen bezüglich der wie bspw. der Ende-zu-Ende-Absicherung (End-to-end Anzeige, bspw. kann es vorkommen, dass ein eingefrorener Protection, E2E), welche die Mechanismen Checksumme auf sicherheitsrelevanter Inhalt IS nicht angezeigt werden darf. Applikationsebene, Botschaftszähler, Timeoutüberwachung Wird im Fahrzeug ein solcher sicherheitsrelevanter und Senderkennung miteinander kombiniert, auf die hier Videoinhalt IS erzeugt, kann dieser Videoinhalt zur betrachtete Videodatenübertragung ist jedoch nicht Absicherung mit einer entsprechenden Markierung zielführend, da diese z.B. nicht tolerant in Bezug auf die (Wasserzeichen, W) versehen werden. Jedes Display das zulässigen Bildtransformationen sind. potentiell den Videoinhalt IS anzeigen könnte, muss eine Methode zur Detektion von des Videoinhalts IS Eine systemabhängige Auswahl der Mechanismen muss implementieren um eine fehlerhafte Anzeige zu verhindern. dabei abhängig vom Automotive Safety Integrity Level (ASIL) des betrachteten Sicherheitsziels sowie der Definition Eine probate Methode dafür ist das Hinzufügen von des sicheren Zustands erfolgen. Informationen zu den Bilddaten in Form eines sichtbaren / unsichtbaren, robusten / fragilen Wasserzeichens W. Ein Anwendungsabhängig können dabei typischerweise Beispiel für eine robuste, unsichtbare Methode des folgende sicheren Zustände unterschieden werden: Wasserzeichens ist in [14] zu finden. Zusätzlich kann • SZ01: keine Bilddarstellung optional ein zufälliger Wert K (z.B. geheimer oder öffentlicher Schlüssel) verwendet werden. Durch das • SZ02: Anzeige eines Ersatzbildes (z.B. schwarzer Hinzufügen des Wasserzeichens W und dem Zufallswert K Bildschirm oder Fehlermeldung) wird die ursprüngliche Bildinformation IS verändert [11]: • SZ03: Anzeige eines Bildes, das vom Betrachter als eindeutig fehlerhaft erkannt wird • SZ04: Anzeige eines degradierten Bildes (z.B. Bild Der Erkennungsprozess kann dann über den folgenden mit geringerer Auflösung oder Frequenz) Zusammenhang erfolgen [11]: Kann im Fehlerfall auf die Videodatenübertragung ver- zichtet werden (Fail Silent oder Fail Safe), bspw. bei einem elektronischen Seitenspiegel, kann über Fehlererkennungs- Ziel ist es nun geeignete Methoden für das Hinzufügen mechanismen eine Fehlfunktion detektiert und das Display der Markierung, mit entsprechender Robustheit gegenüber oder die Funktion deaktiviert werden (SZ01) bzw. ein Veränderungen, sowie entsprechende Methoden zur Ersatzbild angezeigt werden (SZ02). Erkennung der Wasserzeichen zu finden. Darüber hinaus können fragile Wasserzeichen dazu verwendet werden, um Besteht eine Verfügbarkeitsanforderung an die festzustellen ob eine Änderung an den Videodaten Videodatenübertragung (Fail Operational), muss dagegen vorgenommen wurde. Auch hier ist es wichtig das Hinzu- auch im Fehlerfall ein hinreichend geignetes Bild angezeigt fügen, Erkennen (und Entfernen) der Markierung ohne werden. Dies kann über eine Degradierung der nennenswerte Verzögerung durchzuführen. Videoübertragung (SZ04) oder durch den Wechsel auf eine redundante Komponente erfolgen. Ein weiteres Kriterium für die Absicherung der Video- daten ist die Bewertung des zeitlichen Versatzes ∆tI zwischen Viele der in III. definierten Fehlererkennungs- dem Originalbild I und dem empfangenen Bild I'' (vgl. Fig. mechanismen können so implementiert werden, dass sie 1). Kenngrößen für einen systeminternen Test (Built-In-Self- Test, BIST) liefern. Unterschreitet eine Kenngröße oder eine Kenngrößenkombination einen Schwellwert, kann eine Eine Realisierungsmöglichkeit dafür besteht in der Fehlerbehandlung bzw. der Übergang in einen sicheren Kombination einer gemeinsamen Zeitbasis zwischen Sender Zustand (ggf. auch vor Fahrtantritt) getriggert werden. S und Empfänger R und einem im Bild oder den Metadaten Zur systemweiten Orchestrierung der Sicherheits- enthaltenen Zeitstempel. Die zeitliche Synchronisierung mechanismen wird vorgeschlagen, die Kenngrößen der könnte bspw. über einen zusätzlichen bidirektionalen verschiedenen Fehlererkennungsmechanismen in einer Kommunikationskanal, unter Verwendung von Laufzeit- dezidierten Safety Unit (SAF) zusammenzufassen. Damit unterschieden, erreicht werden. Der Zeitstempel könnte im ergibt sich das in Fig. 4 veranschaulichte generische Modell Sender als Teil der Markierung, z.B. als Modulation des einer Sicherheitsarchitektur zur Absicherung der Video- Zufallswertes K, erfolgen. datenübertragung. ASE 2019: 16th Workshop on Automotive Software Engineering @ SE19, Stuttgart, Germany 35 Die identifizierten Sicherheitsmechanismen SM sollen im weiteren Projektverlauf systematisch auf die identifizierten Ausfallarten FM abgebildet werden, um einen Baukasten für (S) Sender (M) Modifier (R) Receiver die Absicherung der verschiedenen Videodatenübertra- gungen im Fahrzeug bereit zu stellen (Fig. 5). Hierzu gehört auch eine Abschätzung der Diagnosegüte (Diagnostic (SAF) Safety Unit Coverage, DC) der einzelnen Mechanismen. Für Ausfall- arten, für die der Baukasten bisher nur wenige oder keine Sicherheitsmechanismen enthält, sollen gezielt weitere Fig. 4. Modell der Sicherheitsarchitektur Mechanismen entwickelt werden. Im Rahmen der Anwendung auf ein konkretes System Die SAF muss dabei nicht als einzelne, separate werden dann zunächst a) die relevanten Fehlermodi identi- Komponente ausgeführt sein, sondern kann bspw. in einer fiziert und b) für diese eine geeignete Kombination von der anderen Systemkomponenten verortet sein oder über Sicherheitsmechanismen aus dem Baukasten ausgewählt. mehre Systemkomponenten (bspw. S und R) verteilt sein. Danach ist c) die generische Sicherheitsarchitektur geeignet Ebenso kann ein lokaler Datenaustausch zwischen S, T, M zu instantiieren und d) die Sicherheitsmechanismen sind den und R erforderlich sein, um übergreifende Sicherheits- einzelnen Komponenten der instantiierten Sicherheits- mechanismen zu realisieren (bspw. ein Kommunikations- architektur zuzuordnen und dort zu implementieren. kanal zwischen S und R zur zeitlichen Synchronisation). 3 REFERENCES V. ZUSAMMENFASSUNG UND AUSBLICK [1] E. Rublee, V. Rabaud, K. Konolige and G. Bradski, “ORB: and Ausgehend vom Stand der Technik bei der Absicherung efficient alternative to SIFT or SURF”, IEEE Int. Conf. on Computer der allgemeinen Datenübertragung wurde von den Autoren Vision, 2011. ein generisches Modell der Videodatenübertragung und ein [2] D. G. Lowe, “Distinctive Image Features from Scale-Invariant Fehlermodell für eine solche Übertragung vorgeschlagen. Keypoints”, Int. Journal of Computer Vision, Vol.50, No. 2, 2004, pp.91-110. Die Modelle umfassen dabei die Veränderung von Bilddaten durch eine modifizierende Komponente innerhalb der [3] T.-J. Kim, C. Baek, S. Chun, K.-H. Lee, J.-I. Hwang, K. Kwon, Y.-H. Kim, H.-S. Park, Y. Shin, S. Ryu, J.-Y. Lee, G. Hwang, G. Kim, “A Übertra-gungsstrecke. timing controller embedded driver IC with 3.24-Gbps eDP interface for chip-on-glass TFT-LCD applications”, J SOC INF DISPLAY, Danach wurden vorhandene Sicherheitsmechanismen für Vol. 24, pp. 299-306, 2016, doi: 10.1002/jsid.446 einzelne Komponenten des Übertragungsmodells sowie [4] D. Lee, K. Lee, D. H. Baek, H. Pae, J. Lim, Y. M. Choi, Y. H. Lee, komponentenübergreifende Sicherheitsmechanismen identi- S.I. Lee, J. Lee, K. Nah and G. Hwang, “A 1.4-Gbps intra-panel fiziert und zusammengetragen. Dabei identifizierte Lücken interface with low-power and low-EMI schemes for Tablet PC wurden herausgearbeitet und es wurde damit begonnen, diese applications”, J SOC INF DISPLAY, Vol. 20, pp. 661-668, 2012, zu schließen. doi:10.1002/jsid.134 [5] Ryu, S.-Y., Baek, D.-H., Lim, H.-W., Han, S.-K., Ryu, K.-H., Park, K.-H., Park, J.-Y., Lee, J.-M., Kim, T-J., Lee, J.-Y., and Kim, G.-N., “A 13-bit universal column driver for various displays of OLED and LCD”, J SOC INF DISPLAY, Vol. 24, pp. 277–285, 2016, doi: 10.1002/jsid.437 [6] M. Wittmeir, “Image Analysis to Support Functional Safety for Automotive Displays”, Proceedings of electronic displays Conference, WEKA, Munich, 2018, ISBN 978-3-645-50169-9 [7] Boual, S. , Large, T. , Buckingham, M. , Travis, A. and Munford, S., “Wedge Displays as Cameras”, SID Symposium Digest of Technical Papers, Vol. 37, pp. 1999-2002, 2006, doi:10.1889/1.2433445 [8] T. Nishibe and H. Nakamura, “Value-added integration of functions for silicon-on-glass (SOG) based on LTPS technologies”, J SOC INF DISPLAY, Vol. 15, pp. 151-156, 2007, doi:10.1889/1.2709736 [9] N. Boston, “A Mathematical Foundation for Watermarking”, Preprint (http://www.math.wisc.edu/~boston/bostonpreps.html). [10] Galand, Fabien, and Gregory Kabatiansky. "Information hiding by coverings", Information Theory Workshop, 2003. IEEE, 2003. [11] F. Petitcolas, R. Anderson and M. Kuhn, “Information Hiding - A Survey”, Proceedings of the IEEE, special issue on protection of multimedia content, 87(7):1062–1078, July 1999. [12] ISO 26262:2011 / ISO/FDIS 26262:2018, Road Vehicles -- Functional Safety. International Standard 2011 / 2018. [13] ISO 16505:2015, Road Vehicles – Ergonomic and performance aspects of Camera Monitor Systems – Requirements and test procedures. International Standard, 2015. [14] K. Witt, J. Bauer, “A Robust Method for Frozen Frame Detection in Safety Relevant Video Streams Based on Digital Watermarking”, Electronic Display Conference, Nuremberg, 2017 [15] B. Kaiser, “Functional Safety of Camera Monitor Systems”, In: A. Fig. 5. Vorgehensweise zur Auswahl geeigneter Sicherheitsmechanismen Terzis (Ed.), “Handbook of Camera Monitor Systems - The Automotive Mirror-Replacement Technology based on ISO 16505”, Springer 2016. ASE 2019: 16th Workshop on Automotive Software Engineering @ SE19, Stuttgart, Germany 36