Beispiel Andocksystem (ADS)

Präsentation zum Thema: "Beispiel Andocksystem (ADS)"—  Präsentation transkript:

1 Beispiel Andocksystem (ADS)
Komponenten im System Systemleistung: Leitung des Flugzeugpiloten mittels Display auf die für den Flugzeugtyp vorgeschriebene Stoppposition. Sensor für Bugradposition und Achsenwinkel eines anrollenden Flugzeugs auf Basis von Video-Bildsequenzen. Passagierbrücke Einroll- leitlinie B Flughafengebäude Rollfeld Display Videokamera Stopposition Computer Vision _Seite 1

2 ADS im Flughafen-Informationssystem
Komponenten im System Tower Touchdownzeit, Flugzeugtyp, Flugnummer Leitsystem Vorfeld- kontrolle Gate-Nr, Gateankunft (Soll), Flugzeugtyp, Flugnummer Gate Gateankunftzeit (ist), Stopposition Regler: Display ADS Typ Lage Video- auswertung Flugzeugmodell Status, Position, Winkel, Zeit Computer Vision _Seite 2

3 ADS: Systemanforderungen
Komponenten im System Regler: Display ADS Typ Lage Video- auswertung Flugzeugmodell Status, Position, Winkel, Zeit Sensor: CCD-Videokamera im PAL-Format (576x768 Pixel) Hardware / Platform: Standard-PC-System / Betriebssystem Windows NT Messfrequenz: mindestens 12 Hz Messgenauigkeit: Bugradposition +/- 0,2 m, Winkel Flugzeugachse/Leitlinie +/- 2° Operationelle Anforderungen: Fehltyperkennung, Pushbackerkennung, Multi- Leitlinienfähigkeit Beleuchtung: Tageslicht, Flutlicht, Allwetterfähigkeit bis Cat III Sichtbedingung Computer Vision _Seite 3

4 der Bildebene, z.B. Triebwerksmitte
ADS: Messaufgabe Komponenten im System Die Messung erfolgt in zwei Schritten: Bestimmung der Position des Flugzeugs im Bild. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum): Objektpunkt auf der Bildebene, z.B. Triebwerksmitte y Bildebene z Szenenpunkt Sehstrahl Höhe der Triebwerksmitte über dem Boden Rollfeld(Boden) Voraussetzung: Die Abbildungseigenschaften der Kamera und die Orientierung zwischen Kamera und Boden ist bekannt. Computer Vision _Seite 4

5 Erinnerung: Kameramodell und -kalibrierung
Begriffe Kamerakalibirierung (Eichung) = Ermittlung eines Parametersatzes, so dass das Kameramodell das Abbildungsverhalten der Kamera möglichst gut approximiert. Kameramodell = Mathematische Beschreibung (Approximation) des realen Abbildungsverhaltens des Sensors. z.B. Lochkamera: Die Transformation P : R³  R² ist durch 5 Parameter gegeben: f Brennweite (Abstand Ursprung Koordinatensystem und Bildebene) (cx, cy) Bildhauptpunkt (Durchstoßpunkt der z-Achse im Bild in Pixeln) dx / dy Breite / Höhe eines Pixels in der Einheit des Kamerakoordinatensystems Computer Vision _Seite 5

6 Kamerakalibrierung Begriffe
Was wird für die Kamerakalibrierung benötigt? Marke 0 (0, 0, 0)T Marke 1 (2, 0, 0)T Marke 3 (4, 0, 0)T Marke 8 (0, 2, 0)T gemessen (soll) projiziert (ist) Kalibrierkörper und die IDs und Weltkoordinaten der Marken z.B. Schachbrettmuster Größe der Quadrate 2 cm Bild vom Kalibrierkörper und die Bildkoordinaten der Marken Computer Vision _Seite 6

7 Kamerakalibrierung Begriffe Bemerkungen zu den Kalibriermarken:
Auch Landmarken kommen als Kalibriermarken in Frage (z.B. Markierungen auf dem Rollfeld von Flughäfen). Auch mit (ausreichend genauen) CAD-Modellen können Kameras kalibriert werden: Dann wird die Lageschätzung um die Kameraparameter erweitert. gemessen (soll) projiziert (ist) Computer Vision _Seite 7

8 Kamerakalibrierung Begriffe Bemerkungen:
Standard für CCD-Kameras: Kalibrierung nach Roger Tsai (Lochkamerasystem plus radiale Verzeichnung) Die Kalibriermarken müssen alle relevanten Bereiche des Bildes abdecken. Eine echte 3D-Verteilung der Marken stabilisiert die Kalibrierung. Die Mindestanzahl an Kalibriermarken ist durch die Anzahl der zu bestimmenden Parameter gegeben (eine Marke liefert zwei Gleichungen!) Radial verzeichnetes Schachbrettmuster (Fischauge) Computer Vision _Seite 8

9 ADS: Kameramodell Komponenten im System Abbildungsmodell nach
Roger Tsai (Lochkamera plus radiale Verzeichnung) Bringe Markierungen auf dem Boden an und ziehe ein Bild mit diesen Markierungen ein. Projiziere die Markierungen auf das Bild (rote Kreuze) Optimiere die Abbildungsparameter, so dass projizierte Markierungen und abgebildete Markierungen möglichst gut übereinstimmen. Computer Vision _Seite 9

10 ADS: Messaufgabe Komponenten im System
Die Messung erfolgt in zwei Schritten: Bestimmung der Position des Flugzeugs im Bild. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum). Lösung hier: Suche bestimmte Objektpunkte im Bild durch Schablonenanpassung. Computer Vision _Seite 10

11 Kreuzkorrelation Komponenten im System
Seien g und s zwei gleich große Bilder mit Breite B und Höhe H. Dann heißt Kreuzkorrelation von g und s. Computer Vision _Seite 11

12 Kreuz-korrelationsbild
Schablonenanpassung Komponenten im System Gegeben seien ein Bild g und eine Schablone s. Schiebe die Schablone s über das Bild g und berechne an jeder Bildpunktposition die Kreuzkorrelation. An der Position, an der die Schablone und das Bild am besten übereinstimmen, ist die Kreuzkorrelation am größten. Schablone s Kreuz-korrelationsbild Bild g Computer Vision _Seite 12

13 ADS: Objektmodell Komponenten im System
Objektmodellierung: Modell aus Triebwerkseinlass, Frontscheibe, Hauptfahrwerk (in Form von Schablonen) und deren geometrischer Zusammenhang (Gitter) Die Übereinstimmung des Modells mit dem Bild wird durch Schablonenanpassung (z.B. Korrelationskoeffizient) gemessen. Schablonen, starres Gitter Centerline Stopposition Computer Vision _Seite 13

14 ADS: Suchvorgang im Fangbereich
Komponenten im System 3D-Template an Suchposition transformieren Suchposition festlegen Start Flugzeugposition über 3D-Fit berechnen Tracking Korr. berechnen für Umgebung um Suchposition Template gefunden Korr>Schwellwert Nein Ja Bild einziehen Korrelationsverlauf für verschiedene Sequenzen Korrelationswert Sequenz Bild-Nummer Computer Vision _Seite 14

15 ADS: Objektverfolgung
Komponenten im System Schablone an aktuelle Flugzeugposition transformieren Aktuelle Flugzeugposition aus "Searching" Start Stop-Postion Korrelation für Schablone berechnen ja nein Stop Aktuelle Flugzeugposition über 3D-Fit berechnen Bild einziehen Schablone mit aktuellem Bildinhalt überblenden Computer Vision _Seite 15

16 ADS: Verfolgungsergebnisse
Komponenten im System Korrelationsverlauf für verschiedene Sequenzen Bild- Nummer Sequenz Computer Vision _Seite 16

17 ADS: Auswerteergebnisse
Komponenten im System Andocksequenz 3: f=16mm Stop: x=-0.17, y=1.5 Andocksequenz 10: f=16mm Stop: x=-0.31, y=0.7 Computer Vision _Seite 17

18 ADS: Auswerteergebnisse
Komponenten im System Computer Vision _Seite 18

19 Zusammenfassung Komponenten im System
Operationelle Lösungskonzept Systemanforderungen Anforderungen Bildauswertung Geschwindigkeit Sensoren Nutzungskonzept Latenzzeit Aufgabendefinition Szene Datensätze Genauigkeit Algorithmen Kommunikations- HW-/SW-Konzept Einbindung Einsatz- Echtzeitlösung Randbedingungen Trainingsumgebung Hardware Testumgebung Zuverlässigkeit Systemintegration Betriebssystem Verfügbarkeit Computer Vision _Seite 19

20 Korrelationskoeffizient
Komponenten im System Seien g und s zwei gleich große Bilder mit Breite B und Höhe H. Dann heißt Korrelationskoeffizient von g und s. g und s heißen korreliert, wenn ist. Computer Vision _Seite 20

21 Schablonenanpassung Komponenten im System
Gegeben seien ein Bild g und eine Schablone s. Schiebe die Schablone s über das Bild g und berechne an jeder Bildpunktposition den Korrelationskoeffizienten. An der Position, an der die Schablone und das Bild am besten übereinstimmen, ist der Betrag des Korrelationskoeffizienten am größten. Schablone s Korrelations- Koeffizientenbild (Betrag) Bild g Computer Vision _Seite 21