Beispiel Andocksystem (ADS) Komponenten im System Systemleistung: Leitung des Flugzeugpiloten mittels Display auf die für den Flugzeugtyp vorgeschriebene Stoppposition. Sensor für Bugradposition und Achsenwinkel eines anrollenden Flugzeugs auf Basis von Video-Bildsequenzen. Passagierbrücke Einroll- leitlinie B 737-300 Flughafengebäude Rollfeld Display Videokamera Stopposition Computer Vision 1_Seite 1

ADS im Flughafen-Informationssystem Komponenten im System Tower Touchdownzeit, Flugzeugtyp, Flugnummer Leitsystem Vorfeld- kontrolle Gate-Nr, Gateankunft (Soll), Flugzeugtyp, Flugnummer Gate Gateankunftzeit (ist), Stopposition Regler: Display ADS Typ Lage Video- auswertung Flugzeugmodell Status, Position, Winkel, Zeit Computer Vision 1_Seite 2

ADS: Systemanforderungen Komponenten im System Regler: Display ADS Typ Lage Video- auswertung Flugzeugmodell Status, Position, Winkel, Zeit Sensor: CCD-Videokamera im PAL-Format (576x768 Pixel) Hardware / Platform: Standard-PC-System / Betriebssystem Windows NT Messfrequenz: mindestens 12 Hz Messgenauigkeit: Bugradposition +/- 0,2 m, Winkel Flugzeugachse/Leitlinie +/- 2° Operationelle Anforderungen: Fehltyperkennung, Pushbackerkennung, Multi- Leitlinienfähigkeit Beleuchtung: Tageslicht, Flutlicht, Allwetterfähigkeit bis Cat III Sichtbedingung Computer Vision 1_Seite 3

der Bildebene, z.B. Triebwerksmitte ADS: Messaufgabe Komponenten im System Die Messung erfolgt in zwei Schritten: Bestimmung der Position des Flugzeugs im Bild. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum): Objektpunkt auf der Bildebene, z.B. Triebwerksmitte y Bildebene z Szenenpunkt Sehstrahl Höhe der Triebwerksmitte über dem Boden Rollfeld(Boden) Voraussetzung: Die Abbildungseigenschaften der Kamera und die Orientierung zwischen Kamera und Boden ist bekannt. Computer Vision 1_Seite 4

Erinnerung: Kameramodell und -kalibrierung Begriffe Kamerakalibirierung (Eichung) = Ermittlung eines Parametersatzes, so dass das Kameramodell das Abbildungsverhalten der Kamera möglichst gut approximiert. Kameramodell = Mathematische Beschreibung (Approximation) des realen Abbildungsverhaltens des Sensors. z.B. Lochkamera: Die Transformation P : R³  R² ist durch 5 Parameter gegeben: f Brennweite (Abstand Ursprung Koordinatensystem und Bildebene) (cx, cy) Bildhauptpunkt (Durchstoßpunkt der z-Achse im Bild in Pixeln) dx / dy Breite / Höhe eines Pixels in der Einheit des Kamerakoordinatensystems Computer Vision 1_Seite 5

Kamerakalibrierung Begriffe Was wird für die Kamerakalibrierung benötigt? Marke 0 (0, 0, 0)T Marke 1 (2, 0, 0)T Marke 3 (4, 0, 0)T Marke 8 (0, 2, 0)T gemessen (soll) projiziert (ist) Kalibrierkörper und die IDs und Weltkoordinaten der Marken z.B. Schachbrettmuster Größe der Quadrate 2 cm Bild vom Kalibrierkörper und die Bildkoordinaten der Marken Computer Vision 1_Seite 6

Kamerakalibrierung Begriffe Bemerkungen zu den Kalibriermarken: Auch Landmarken kommen als Kalibriermarken in Frage (z.B. Markierungen auf dem Rollfeld von Flughäfen). Auch mit (ausreichend genauen) CAD-Modellen können Kameras kalibriert werden: Dann wird die Lageschätzung um die Kameraparameter erweitert. gemessen (soll) projiziert (ist) Computer Vision 1_Seite 7

Kamerakalibrierung Begriffe Bemerkungen: Standard für CCD-Kameras: Kalibrierung nach Roger Tsai (Lochkamerasystem plus radiale Verzeichnung) Die Kalibriermarken müssen alle relevanten Bereiche des Bildes abdecken. Eine echte 3D-Verteilung der Marken stabilisiert die Kalibrierung. Die Mindestanzahl an Kalibriermarken ist durch die Anzahl der zu bestimmenden Parameter gegeben (eine Marke liefert zwei Gleichungen!) Radial verzeichnetes Schachbrettmuster (Fischauge) Computer Vision 1_Seite 8

ADS: Kameramodell Komponenten im System Abbildungsmodell nach Roger Tsai (Lochkamera plus radiale Verzeichnung) Bringe Markierungen auf dem Boden an und ziehe ein Bild mit diesen Markierungen ein. Projiziere die Markierungen auf das Bild (rote Kreuze) Optimiere die Abbildungsparameter, so dass projizierte Markierungen und abgebildete Markierungen möglichst gut übereinstimmen. Computer Vision 1_Seite 9

ADS: Messaufgabe Komponenten im System Die Messung erfolgt in zwei Schritten: Bestimmung der Position des Flugzeugs im Bild. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum). Lösung hier: Suche bestimmte Objektpunkte im Bild durch Schablonenanpassung. Computer Vision 1_Seite 10

Kreuzkorrelation Komponenten im System Seien g und s zwei gleich große Bilder mit Breite B und Höhe H. Dann heißt Kreuzkorrelation von g und s. Computer Vision 1_Seite 11

Kreuz-korrelationsbild Schablonenanpassung Komponenten im System Gegeben seien ein Bild g und eine Schablone s. Schiebe die Schablone s über das Bild g und berechne an jeder Bildpunktposition die Kreuzkorrelation. An der Position, an der die Schablone und das Bild am besten übereinstimmen, ist die Kreuzkorrelation am größten. Schablone s Kreuz-korrelationsbild Bild g Computer Vision 1_Seite 12

ADS: Objektmodell Komponenten im System Objektmodellierung: Modell aus Triebwerkseinlass, Frontscheibe, Hauptfahrwerk (in Form von Schablonen) und deren geometrischer Zusammenhang (Gitter) Die Übereinstimmung des Modells mit dem Bild wird durch Schablonenanpassung (z.B. Korrelationskoeffizient) gemessen. Schablonen, starres Gitter Centerline Stopposition Computer Vision 1_Seite 13

ADS: Suchvorgang im Fangbereich Komponenten im System 3D-Template an Suchposition transformieren Suchposition festlegen Start Flugzeugposition über 3D-Fit berechnen Tracking Korr. berechnen für Umgebung um Suchposition Template gefunden Korr>Schwellwert Nein Ja Bild einziehen Korrelationsverlauf für verschiedene Sequenzen Korrelationswert Sequenz Bild-Nummer Computer Vision 1_Seite 14

ADS: Objektverfolgung Komponenten im System Schablone an aktuelle Flugzeugposition transformieren Aktuelle Flugzeugposition aus "Searching" Start Stop-Postion Korrelation für Schablone berechnen ja nein Stop Aktuelle Flugzeugposition über 3D-Fit berechnen Bild einziehen Schablone mit aktuellem Bildinhalt überblenden Computer Vision 1_Seite 15

ADS: Verfolgungsergebnisse Komponenten im System Korrelationsverlauf für verschiedene Sequenzen Bild- Nummer Sequenz Computer Vision 1_Seite 16

ADS: Auswerteergebnisse Komponenten im System   Andocksequenz 3: f=16mm Stop: x=-0.17, y=1.5   Andocksequenz 10: f=16mm Stop: x=-0.31, y=0.7 Computer Vision 1_Seite 17

ADS: Auswerteergebnisse Komponenten im System Computer Vision 1_Seite 18

Zusammenfassung Komponenten im System Operationelle Lösungskonzept Systemanforderungen Anforderungen Bildauswertung Geschwindigkeit Sensoren Nutzungskonzept Latenzzeit Aufgabendefinition Szene Datensätze Genauigkeit Algorithmen Kommunikations- HW-/SW-Konzept Einbindung Einsatz- Echtzeitlösung Randbedingungen Trainingsumgebung Hardware Testumgebung Zuverlässigkeit Systemintegration Betriebssystem Verfügbarkeit Computer Vision 1_Seite 19

Korrelationskoeffizient Komponenten im System Seien g und s zwei gleich große Bilder mit Breite B und Höhe H. Dann heißt Korrelationskoeffizient von g und s. g und s heißen korreliert, wenn ist. Computer Vision 1_Seite 20

Schablonenanpassung Komponenten im System Gegeben seien ein Bild g und eine Schablone s. Schiebe die Schablone s über das Bild g und berechne an jeder Bildpunktposition den Korrelationskoeffizienten. An der Position, an der die Schablone und das Bild am besten übereinstimmen, ist der Betrag des Korrelationskoeffizienten am größten. Schablone s Korrelations- Koeffizientenbild (Betrag) Bild g Computer Vision 1_Seite 21