Bildauswertungskomponenten im System Beispiel Andockleitsystem (ADS) Systemleistung: Leitung des Flugzeugpiloten mittels Display auf die für den Flugzeugtyp vorgeschriebene Stopposition. Sensor für Bugradposition und Achsenwinkel eines anrollenden Flugzeugs auf Basis von Video-Bildsequenzen. Passagierbrücke Einroll- leitlinie B 737-300 Flughafengebäude Rollfeld Display Videokamera Stopposition Computer Vision 3_Seite 1

Bildauswertungskomponente im Flughafen-Informations- system Bildauswertungskomponenten im System Bildauswertungskomponente im Flughafen-Informations- system Tower Touchdownzeit, Flugzeugtyp, Flugnummer Leitsystem Vorfeld- kontrolle Gate-Nr, Gateankunft (Soll), Flugzeugtyp, Flugnummer Gate Gateankunftzeit (ist), Stopposition, On-block time Regler: Display ADS Typ Lage Video- auswertung Flugzeugmodell Status, Position, Winkel, Zeit Computer Vision 3_Seite 2

Systemanforderungen an den „Videosensor“ Bildauswertungskomponenten im System Systemanforderungen an den „Videosensor“ Gate Gate-Nr, Gateankunft (Soll), Flugzeugtyp, Flugnummer Gateankunftzeit (ist), Stopposition, On-block time Regler: Display ADS Typ Lage Video- auswertung Flugzeugmodell Status, Position, Winkel, Zeit Primärsensor: CCD- Videokamera mit Tageslich/Flutlicht mit 576*768 Pixel (Sensorelementen) Standard-PC-System, Betriebssystem Windows NT Informationsgewinnung mit Mindestmeßfrequenz 12 Hz Bugradposition +/- 0,2 m, Winkel Flugzeugachse/Leitlinie +/-2° Fehltyperkennung Pushbackerkennung Multi-Leitlinien-Fähigkeit Allwetterfähigkeit bis Cat III Sichtbedingung Computer Vision 3_Seite 3

Bildauswertungskomponenten im System Sensorkalibrierung Abbildungsmodell nach Roger Tsai Computer Vision 3_Seite 4

Bildauswertungskomponenten im System Modellierung Informationsgewinnung durch Modellanpassung Flugzeugmodell aus Triebwerkseinlass, Windshield, Hauptfahrwerk und deren geometrischen Zusammenhang wird an Bildinhalt (Merkmale) angepaßt. Übereinstimmungsmaß: Kreuzkovarianz Bei kalibrierter Kamera Zuordnung Bildkoordinaten-Weltkoordinaten Computer Vision 3_Seite 5

Bildauswertungskomponenten im System Merkmalsextraktion Raumkantenbild Grauwertbild Raum-Zeit-Kantenbild Computer Vision 3_Seite 6

Suchvorgang im Fangbereich Bildauswertungskomponenten im System Suchvorgang im Fangbereich Computer Vision 3_Seite 7

Bildauswertungskomponenten im System Objektverfolgung Computer Vision 3_Seite 8

Verfolgungsergebnisse mit kalibriertem Sensor Bildauswertungskomponenten im System Verfolgungsergebnisse mit kalibriertem Sensor Computer Vision 3_Seite 9

Weitere Aufgaben der Bildauswertung im System Bildauswertungskomponenten im System Weitere Aufgaben der Bildauswertung im System Teilaufgabe „Detektion des Pushback-Vorgangs“ Teilaufgabe „Detektion eines unangemeldeten Flugzeugs“ Teilaufgabe „Bestimmung der Sichtbedingungen“ Teilaufgabe „Selbsttest“ Computer Vision 3_Seite 10

Bildauswertungskomponenten im System Auswerteergebnisse   Andocksequenz 3: f=16mm Stop: x=-0.17, y=1.5   Andocksequenz 10: f=16mm Stop: x=-0.31, y=0.7 Computer Vision 3_Seite 11

Bildauswertungskomponenten im System Auswerteergebnisse Computer Vision 3_Seite 12

Zusammenfassung Operationelle Lösungskonzept Systemanforderungen Anforderungen Bildauswertung Geschwindigkeit Sensoren Nutzungskonzept Latenzzeit Aufgabendefinition Szene Datensätze Genauigkeit Algorithmen Kommunikations- HW-/SW-Konzept Einbindung Einsatz- Echtzeitlösung Randbedingungen Trainingsumgebung Hardware Testumgebung Zuverlässigkeit Systemintegration Betriebssystem Verfügbarkeit Computer Vision 3_Seite 13

Szeneninterpretation Beispiel Szeneninterpretation im Fahrerassistenzsystem MMK Fahrer Reiseziele Routenplanung Auswerte- funktionen Koordinierungs-komponente Sensoren F1 ... Fj Fk Route S1 S2 ... Sm Situations-analyse erwartete Fahrerhandlung Fahrauftrag Sollbahnpl. Kollisionsverm. Gefährdungs-analyse Soll-Trajektorie Gefährdung Regelung Warnung Fahrzeug Umgebung Computer Vision 3_Seite 14

Szeneninterpretation Beispiel Szeneninterpretation im Fahrerassistenzsystem Routenplanung Auswerte- funktionen Koordinierungs-komponente Sensoren F1 ... Fj Fk Route S1 S2 ... Sm Situationsanalyse erwartete Fahrerhandlung Fahrauftrag Sollbahnpl. Kollisionsverm. Gefährdungs-analyse Soll-Trajektorie Gefährdung Fahrzeug Umgebung Computer Vision 3_Seite 15

Szeneninterpretation Merkmalselektion, Modellauswahl Merkmalsextraktion für Modelle Kanten, Ecken, Flecken,Texturmaße, Verschiebungsvektorfelder, ... Parameterschätzung von expliziten und impliziten Modellen Klassifikation der geschätzten Parameter Phys. Gesetze, Expertensysteme, Fuzzy Logic, Lernende Klass. Änderungsanalyse Messung der räumlichen und zeitlichen Kohärenzen der geschätzten Parameter Auswerte- funktionen Sensoren F1 ... Fj Fk S1 S2 ... Sm Sensorbewegungsmodell Objektbewegungsmodell Abbildungsmodell Objektmodell Szenenmodell Szenendynamikmodell Computer Vision 3_Seite 16

Szeneninterpretation Änderungen in der Kamera erfassten Szene führen zu Änderungen im Bild Mögliche Ursachen für Bildänderungen Änderungen in der Szenenbeleuchtung Änderungen von Form oder Material sichtbarer Objektoberflächen Änderungen der Eigenstrahlung sichtbarer Objektoberflächen Relativbewegung zwischen Sensor und Objektoberflächen Änderung der Abbildungsparameter Prozessrauschen Sensorbewegungsmodell Objektbewegungsmodell Abbildungsmodell Objektmodell Szenenmodell Szenendynamikmodell Computer Vision 3_Seite 17

Szeneninterpretation Änderungen in Bildfolgen oft nicht eindeutig Nutzung von a priori Wissen über Randbedingungen zur Einschränkung von Modellparametern Informationsextraktion im jeweiligen (Modell)kontext durch entsprechende Verfahren Nicht-zyklisches Schema Interpretationszyklus für Einzelbilder Interpretationszyklus für Bildfolgen Sensorbewegungsmodell Objektbewegungsmodell Abbildungsmodell Objektmodell Szenenmodell Szenendynamikmodell Computer Vision 3_Seite 18

Szeneninterpretation Nicht-zyklisches Schema der Bildauswertung Nutzung von a priori Wissen über Randbedingungen zur Einschränkung von Modellparametern Sensorik Ikonik Symbolik Aufnahme Vorverarbeitung Merkmal/Primitiven-Extr. Estimation Klassifikation Aktion Szene digit. Bild. Vorverarb. Bild Merkmalsvektor/Prim.-Liste Aussage Ergebnis z.B. Gradientenbild z.B. Kreislinien-Liste z.B. gut/schlecht Anwendung bei überwiegend stationären Verhältnissen, wie z.B. in der automatischen Sichtprüfung in der Produktion von Standardteilen. Computer Vision 3_Seite 19

Szeneninterpretation – generisches Systemkonzept Interpretationszyklus für Einzelbilder Zuordnung von Modellausprägungen zu Bilddaten Generische räumliche Beschreibung (parametrisierte Modelle für Szene,Objekte, Beleuchtung, Abbildung) Bestimmt Art Modifiziert Bildauswertung Parameterschätzung, Klassifikation Modellausprägungen (Parametersätze) Modellelemente Modellwelt Bestimmt Art Projektion Modellwelt-Bild Merkmale, Primitive Signal- verarbeitung Synthese Synthetisches Bild, Szenenskizze Verfahren extrahieren Digitalisiertes Bild Bildsensor Display Computer Vision 3_Seite 20

Szeneninterpretation – generisches Systemkonzept Interpretationszyklus für Bildfolgen Zeitlicher Zusammenhang zwischen räumlichen Beschreibungen Generische räumliche Beschreibung Digitalisiertes Bild Modellwelt Bildsensor Signal- verarbeitung Bildauswertung t0 + n*d t0+d t0 Generische zeitliche Beschreibung (parametrisierte Modelle für Objekt-, Szenen-, Beleuchtungs-, Sensordynamik) . . . Prädiktion Computer Vision 3_Seite 21

Szeneninterpretation – Situationsmodellierung Situationsgraphen Situation: generische Beschreibung aller wesentlichen Sachverhalte Zustandsbeschreibung aller relevanten Objekte und ihrer Relationen zueinander Alternativen für die zeitliche Entwicklung des aktuellen Zustands Handlungsmöglichkeiten, die mit einem Zustand verbunden sind Zustandsbeschreibung Physikalische Beziehungen zu einem Zeitpunkt zwischen an der Situation beteiligten Körpern Intentionen der Körper im Situationskontext Potentielles Verhalten der Körper Computer Vision 3_Seite 22

Szeneninterpretation – Situationsmodellierung Situationsgraphen Modellieren Abfolgen von Situationen mithilfe von Situationsknoten, die durch Prädiktionskanten miteinander verbunden sind. Situationsknoten enthalten Zustandsschema, das in Situationen ausgeprägt wird, in denen der im Zustandsschema beschriebene Zustand vorliegt Handlungsschema, das in Situationen ausgeprägt wird und eine durchzuführende Aktion festlegt Zustandsschema Handlungsschema 1 . N 2 Situationsknoten Prädiktionskante Situationsgraph nach Krüger Computer Vision 3_Seite 23

Szeneninterpretation – Situationsmodellierung Situationsgraphen Modellierung der zeitlichen Abfolge von Situationen: Ausgangpunkt aktueller Situationsknoten Finde eine Prädiktionskante, die zu einem Situationsknoten mit ausprägbarem Zustandsschema führt. Im Erfolgsfall wird dieser Knoten zum aktuellen Knoten. Die Prädiktionskanten beinhalten auch einen Bindungsknoten, der angibt, welche Ausprägungen auf den nachfolgenden Situationsknoten übernommen werden. Jede Prädiktionskante besitzt eine Priorität: Reihenfolge der Anwendbarkeitsprüfung der Nachfolgeknoten. Zustandsschema Handlungsschema 1 . N 2 Situationsknoten Prädiktionskante Situationsgraph nach Krüger Computer Vision 3_Seite 24

Einordnung der Bildauswertung Zustandsschema Handlungsschema 1 . N 2 Situationsknoten Prädiktionskante Situationsgraph nach Krüger Generische räumliche Beschreibung Digitalisiertes Bild Modellwelt Bildsensor Signal- verarbeitung Bildauswertung t0 + n*d t0+d t0 (parametrisierte Modelle für Objekt-, Szenen-, Generische zeitliche Beschreibung Beleuchtungs-, Sensordynamik) . . . Prädiktion Ausprägung Computer Vision 3_Seite 25