Bildauswertungskomponenten im System

Präsentation zum Thema: "Bildauswertungskomponenten im System"—  Präsentation transkript:

1 Bildauswertungskomponenten im System
Beispiel Andockleitsystem (ADS) Systemleistung: Leitung des Flugzeugpiloten mittels Display auf die für den Flugzeugtyp vorgeschriebene Stopposition. Sensor für Bugradposition und Achsenwinkel eines anrollenden Flugzeugs auf Basis von Video-Bildsequenzen. Passagierbrücke Einroll- leitlinie B Flughafengebäude Rollfeld Display Videokamera Stopposition Computer Vision _Seite 1

2 Bildauswertungskomponente im Flughafen-Informations- system
Bildauswertungskomponenten im System Bildauswertungskomponente im Flughafen-Informations- system Tower Touchdownzeit, Flugzeugtyp, Flugnummer Leitsystem Vorfeld- kontrolle Gate-Nr, Gateankunft (Soll), Flugzeugtyp, Flugnummer Gate Gateankunftzeit (ist), Stopposition, On-block time Regler: Display ADS Typ Lage Video- auswertung Flugzeugmodell Status, Position, Winkel, Zeit Computer Vision _Seite 2

3 Systemanforderungen an den „Videosensor“
Bildauswertungskomponenten im System Systemanforderungen an den „Videosensor“ Gate Gate-Nr, Gateankunft (Soll), Flugzeugtyp, Flugnummer Gateankunftzeit (ist), Stopposition, On-block time Regler: Display ADS Typ Lage Video- auswertung Flugzeugmodell Status, Position, Winkel, Zeit Primärsensor: CCD- Videokamera mit Tageslich/Flutlicht mit 576*768 Pixel (Sensorelementen) Standard-PC-System, Betriebssystem Windows NT Informationsgewinnung mit Mindestmeßfrequenz 12 Hz Bugradposition +/- 0,2 m, Winkel Flugzeugachse/Leitlinie +/-2° Fehltyperkennung Pushbackerkennung Multi-Leitlinien-Fähigkeit Allwetterfähigkeit bis Cat III Sichtbedingung Computer Vision _Seite 3

4 Bildauswertungskomponenten im System
Sensorkalibrierung Abbildungsmodell nach Roger Tsai Computer Vision _Seite 4

5 Bildauswertungskomponenten im System
Modellierung Informationsgewinnung durch Modellanpassung Flugzeugmodell aus Triebwerkseinlass, Windshield, Hauptfahrwerk und deren geometrischen Zusammenhang wird an Bildinhalt (Merkmale) angepaßt. Übereinstimmungsmaß: Kreuzkovarianz Bei kalibrierter Kamera Zuordnung Bildkoordinaten-Weltkoordinaten Computer Vision _Seite 5

6 Bildauswertungskomponenten im System
Merkmalsextraktion Raumkantenbild Grauwertbild Raum-Zeit-Kantenbild Computer Vision _Seite 6

7 Suchvorgang im Fangbereich
Bildauswertungskomponenten im System Suchvorgang im Fangbereich Computer Vision _Seite 7

8 Bildauswertungskomponenten im System
Objektverfolgung Computer Vision _Seite 8

9 Verfolgungsergebnisse mit kalibriertem Sensor
Bildauswertungskomponenten im System Verfolgungsergebnisse mit kalibriertem Sensor Computer Vision _Seite 9

10 Weitere Aufgaben der Bildauswertung im System
Bildauswertungskomponenten im System Weitere Aufgaben der Bildauswertung im System Teilaufgabe „Detektion des Pushback-Vorgangs“ Teilaufgabe „Detektion eines unangemeldeten Flugzeugs“ Teilaufgabe „Bestimmung der Sichtbedingungen“ Teilaufgabe „Selbsttest“ Computer Vision _Seite 10

11 Bildauswertungskomponenten im System
Auswerteergebnisse Andocksequenz 3: f=16mm Stop: x=-0.17, y=1.5 Andocksequenz 10: f=16mm Stop: x=-0.31, y=0.7 Computer Vision _Seite 11

12 Bildauswertungskomponenten im System
Auswerteergebnisse Computer Vision _Seite 12

13 Zusammenfassung Operationelle Lösungskonzept Systemanforderungen
Anforderungen Bildauswertung Geschwindigkeit Sensoren Nutzungskonzept Latenzzeit Aufgabendefinition Szene Datensätze Genauigkeit Algorithmen Kommunikations- HW-/SW-Konzept Einbindung Einsatz- Echtzeitlösung Randbedingungen Trainingsumgebung Hardware Testumgebung Zuverlässigkeit Systemintegration Betriebssystem Verfügbarkeit Computer Vision _Seite 13

14 Szeneninterpretation
Beispiel Szeneninterpretation im Fahrerassistenzsystem MMK Fahrer Reiseziele Routenplanung Auswerte- funktionen Koordinierungs-komponente Sensoren F1 ... Fj Fk Route S1 S2 ... Sm Situations-analyse erwartete Fahrerhandlung Fahrauftrag Sollbahnpl. Kollisionsverm. Gefährdungs-analyse Soll-Trajektorie Gefährdung Regelung Warnung Fahrzeug Umgebung Computer Vision _Seite 14

15 Szeneninterpretation
Beispiel Szeneninterpretation im Fahrerassistenzsystem Routenplanung Auswerte- funktionen Koordinierungs-komponente Sensoren F1 ... Fj Fk Route S1 S2 ... Sm Situationsanalyse erwartete Fahrerhandlung Fahrauftrag Sollbahnpl. Kollisionsverm. Gefährdungs-analyse Soll-Trajektorie Gefährdung Fahrzeug Umgebung Computer Vision _Seite 15

16 Szeneninterpretation
Merkmalselektion, Modellauswahl Merkmalsextraktion für Modelle Kanten, Ecken, Flecken,Texturmaße, Verschiebungsvektorfelder, ... Parameterschätzung von expliziten und impliziten Modellen Klassifikation der geschätzten Parameter Phys. Gesetze, Expertensysteme, Fuzzy Logic, Lernende Klass. Änderungsanalyse Messung der räumlichen und zeitlichen Kohärenzen der geschätzten Parameter Auswerte- funktionen Sensoren F1 ... Fj Fk S1 S2 ... Sm Sensorbewegungsmodell Objektbewegungsmodell Abbildungsmodell Objektmodell Szenenmodell Szenendynamikmodell Computer Vision _Seite 16

17 Szeneninterpretation
Änderungen in der Kamera erfassten Szene führen zu Änderungen im Bild Mögliche Ursachen für Bildänderungen Änderungen in der Szenenbeleuchtung Änderungen von Form oder Material sichtbarer Objektoberflächen Änderungen der Eigenstrahlung sichtbarer Objektoberflächen Relativbewegung zwischen Sensor und Objektoberflächen Änderung der Abbildungsparameter Prozessrauschen Sensorbewegungsmodell Objektbewegungsmodell Abbildungsmodell Objektmodell Szenenmodell Szenendynamikmodell Computer Vision _Seite 17

18 Szeneninterpretation
Änderungen in Bildfolgen oft nicht eindeutig Nutzung von a priori Wissen über Randbedingungen zur Einschränkung von Modellparametern Informationsextraktion im jeweiligen (Modell)kontext durch entsprechende Verfahren Nicht-zyklisches Schema Interpretationszyklus für Einzelbilder Interpretationszyklus für Bildfolgen Sensorbewegungsmodell Objektbewegungsmodell Abbildungsmodell Objektmodell Szenenmodell Szenendynamikmodell Computer Vision _Seite 18

19 Szeneninterpretation
Nicht-zyklisches Schema der Bildauswertung Nutzung von a priori Wissen über Randbedingungen zur Einschränkung von Modellparametern Sensorik Ikonik Symbolik Aufnahme Vorverarbeitung Merkmal/Primitiven-Extr. Estimation Klassifikation Aktion Szene digit. Bild Vorverarb. Bild Merkmalsvektor/Prim.-Liste Aussage Ergebnis z.B. Gradientenbild z.B. Kreislinien-Liste z.B. gut/schlecht Anwendung bei überwiegend stationären Verhältnissen, wie z.B. in der automatischen Sichtprüfung in der Produktion von Standardteilen. Computer Vision _Seite 19

20 Szeneninterpretation – generisches Systemkonzept
Interpretationszyklus für Einzelbilder Zuordnung von Modellausprägungen zu Bilddaten Generische räumliche Beschreibung (parametrisierte Modelle für Szene,Objekte, Beleuchtung, Abbildung) Bestimmt Art Modifiziert Bildauswertung Parameterschätzung, Klassifikation Modellausprägungen (Parametersätze) Modellelemente Modellwelt Bestimmt Art Projektion Modellwelt-Bild Merkmale, Primitive Signal- verarbeitung Synthese Synthetisches Bild, Szenenskizze Verfahren extrahieren Digitalisiertes Bild Bildsensor Display Computer Vision _Seite 20

21 Szeneninterpretation – generisches Systemkonzept
Interpretationszyklus für Bildfolgen Zeitlicher Zusammenhang zwischen räumlichen Beschreibungen Generische räumliche Beschreibung Digitalisiertes Bild Modellwelt Bildsensor Signal- verarbeitung Bildauswertung t0 + n*d t0+d t0 Generische zeitliche Beschreibung (parametrisierte Modelle für Objekt-, Szenen-, Beleuchtungs-, Sensordynamik) . . . Prädiktion Computer Vision _Seite 21

22 Szeneninterpretation – Situationsmodellierung
Situationsgraphen Situation: generische Beschreibung aller wesentlichen Sachverhalte Zustandsbeschreibung aller relevanten Objekte und ihrer Relationen zueinander Alternativen für die zeitliche Entwicklung des aktuellen Zustands Handlungsmöglichkeiten, die mit einem Zustand verbunden sind Zustandsbeschreibung Physikalische Beziehungen zu einem Zeitpunkt zwischen an der Situation beteiligten Körpern Intentionen der Körper im Situationskontext Potentielles Verhalten der Körper Computer Vision _Seite 22

23 Szeneninterpretation – Situationsmodellierung
Situationsgraphen Modellieren Abfolgen von Situationen mithilfe von Situationsknoten, die durch Prädiktionskanten miteinander verbunden sind. Situationsknoten enthalten Zustandsschema, das in Situationen ausgeprägt wird, in denen der im Zustandsschema beschriebene Zustand vorliegt Handlungsschema, das in Situationen ausgeprägt wird und eine durchzuführende Aktion festlegt Zustandsschema Handlungsschema 1 . N 2 Situationsknoten Prädiktionskante Situationsgraph nach Krüger Computer Vision _Seite 23

24 Szeneninterpretation – Situationsmodellierung
Situationsgraphen Modellierung der zeitlichen Abfolge von Situationen: Ausgangpunkt aktueller Situationsknoten Finde eine Prädiktionskante, die zu einem Situationsknoten mit ausprägbarem Zustandsschema führt. Im Erfolgsfall wird dieser Knoten zum aktuellen Knoten. Die Prädiktionskanten beinhalten auch einen Bindungsknoten, der angibt, welche Ausprägungen auf den nachfolgenden Situationsknoten übernommen werden. Jede Prädiktionskante besitzt eine Priorität: Reihenfolge der Anwendbarkeitsprüfung der Nachfolgeknoten. Zustandsschema Handlungsschema 1 . N 2 Situationsknoten Prädiktionskante Situationsgraph nach Krüger Computer Vision _Seite 24

25 Einordnung der Bildauswertung
Zustandsschema Handlungsschema 1 . N 2 Situationsknoten Prädiktionskante Situationsgraph nach Krüger Generische räumliche Beschreibung Digitalisiertes Bild Modellwelt Bildsensor Signal- verarbeitung Bildauswertung t0 + n*d t0+d t0 (parametrisierte Modelle für Objekt-, Szenen-, Generische zeitliche Beschreibung Beleuchtungs-, Sensordynamik) . . . Prädiktion Ausprägung Computer Vision _Seite 25