Zielsetzung Automatische Bildauswertung als Informationsquelle Automatisches Situationsverstehen zur Ableitung von Maßnahmen Zur Unterstützung des Menschen Aufmerksamkeitssteuerung Diagnoseunterstützung Quantitative Analyse Für autonome Systeme Missionsplanung Regelung bei Missionsdurchführung Beantwortung der Grundfragen Wo befinde und wie bewege ich mich in Bezug auf meine Umgebung? (Navigation) Welche Objekte (Art, Ort, Zustand) befinden sich in meiner Umgebung? (Objekterkennung) Computer Vision 2_Seite 1

Die Auswertungsaufgaben Detektion im Bild Lokalisierung in der Welt Verfolgung Identifikation Analyse Computer Vision 2_Seite 2

Was nicht passieren sollte Computer Vision 2_Seite 3

Vorgehensweise Automatische Informationsgewinnung aus Bildern und Bildfolgen durch Messung der Bildinhalte (mittels Merkmalen) anhand von Modellen Modelle beschreiben den Kontext und das Ziel der erforderlichen Informationsgewinnung. Merkmale sind aus den Bilddaten gewonnene Elemente, die wesentliche Eigenschaften der Modellelemente enthalten. Die Messung gibt Aufschluss über das Maß an Übereinstimmung von Bildelementen mit dem Modell. Modellparameterschätzung: Maximierung des Übereinstimmungsmaßes bezüglich Modellparameter Klassifikation: Schwellwerte bezüglich des Übereinstimmungsmaßes entscheiden über die Zuordnung zur Modellklasse. Computer Vision 2_Seite 4

Vorgehensweise Merkmalselektion, Modellauswahl Klassifikation der geschätzten Parameter Phys. Gesetze Expertensysteme Fuzzy Logic Lernende Klass. Merkmalsextraktion für Modelle Kanten, Ecken, Flecken,Texturmaße Verschiebungsvektorfelder, ... Parameterschätzung von expliziten und impliziten Modellen Änderungsdetektion Messung der räumlichen und zeitlichen Kohärenzen der geschätzten Parameter Sensorbewegungsmodell Objektbewegungsmodell Abbildungsmodell Objektmodell Semantische Beschreibung der Klassifikationsergebnisse und Kohärenzen Szenenmodell Szenendynamikmodell Computer Vision 2_Seite 5

! Die Auswertungsaufgaben Detektion im Bild Lokalisierung in der Welt Verfolgung Identifikation Analyse Computer Vision 2_Seite 6

Detektionsmechanismen Radiometrische Eigenschaften (sensornah) Fernes Infrarot (Temperatur) Radar (Rückstreuquerschnitt, MTI) ... Geometrische Eigenschaften Umrißlinien Signaturen Dynamische Eigenschaften Interne Objektdynamik Bewegungsmuster Computer Vision 2_Seite 7

Helligkeit (Grauwert) Detektionsmechanismen Detektion mittels radiometrischer Eigenschaften Fernes Infrarot (Temperatur) Beispiel Flugzeugdetektion in IR-Bildern (8-12 µm) Histogrammsegmentierung Hintergrund Objekt Anzahl Bildpunkte Helligkeit (Grauwert) Computer Vision 2_Seite 8

Detektionsmechanismen Detektion mittels radiometrischer Eigenschaften SAR (Rückstreuquerschnitt) Beispiel: Landfahrzeuge in SAR-Bildern Rückstreuquerschnitt liefert auch andere Objekte als Landfahrzeuge (Clutterobjekte) Computer Vision 2_Seite 9

Detektionsmechanismen Detektion mittels radiometrischer Eigenschaften Fernes Infrarot (Temperatur) Beispiel Landfahrzeuge in IR-Bildern 8-12 µm Honeywell- Linescanner Helle Bereiche nicht repräsentativ für zu detektierende Objekte Es werden auch andere Objekte detektiert . Manche Objekte werden nicht detektiert. Computer Vision 2_Seite 10

Detektionsmechanismen Detektion mittels radiometrischer Eigenschaften Fazit Im einfachsten Fall sind die radiometrischen Objekteigenschaften vollkommen verschieden vom Hintergrund. Dann können so Objekte eindeutig detektiert werden. Hintergrundobjekte haben z.T. die gleichen radiometrischen Eigenschaften wie die Objekte. Dies führt zu Falschalarmen. Im schwierigsten Fall sind die radiometrischen Objekteigenschaften dem Hintergrund sehr ähnlich. Dann müssen entweder extrem hohe Falschalarmraten oder Fehldetektionen (misses) hingenommen werden. können so Objekte eindeutig detektiert werden. Abhilfe durch Zuhilfenahme geometrischer Merkmale Computer Vision 2_Seite 11

Detektionsmechanismen Detektion mittels geometrischer Eigenschaften Umrisse Originalbild Verarbeitung einer “Region of Interest” Computer Vision 2_Seite 12

Detektionsmechanismen Rechtwinkligkeit IR Linescanner Bild der CL 289 Relevante Bereiche Computer Vision 2_Seite 13

Detektionsmechanismen Detektion mittels geometrischer Eigenschaften Automatisch erlernte Signaturen Trainingsdatensatz für das automatische Training eines Klassifikators. Flugzeugsignaturen, die vom Verfahren gelernt werden Hintergrundbilder, die vom Verfahren gelernt werden Computer Vision 2_Seite 14

Detektionsmechanismen Detektion mittels geometrischer Eigenschaften: Signaturen Anwendung: SAR-Flugzeugdetektor Anwendung auf nicht trainierte Bilder Computer Vision 2_Seite 15

Detektionsmechanismen Detektion mittels dynamischer Eigenschaften Interne Objektdynamik Beispiel: Sich bewegende Rotoren von Hubschraubern Computer Vision 2_Seite 16

Detektionsmechanismen Detektion mittels dynamischer Eigenschaften Hindernisdetektion mit optischem Fluß Lokal geschätzte Flußvektoren Computer Vision 2_Seite 17

Hindernisdetektion mit optischem Fluß Detektionsmechanismen Hindernisdetektion mit optischem Fluß Klassifikation von Flußvektoren durch stochastischen Test: - bewegt, - stationär über Fahrbahnebene, - auf Fahrbahnebene. Als bewegt klassifizierte Flußvektoren Computer Vision 2_Seite 18

Hindernisdetektion mit bewegungskompensiertem Differenzbild Detektionsmechanismen Hindernisdetektion mit bewegungskompensiertem Differenzbild Bewegungskompensiertes Differenzbild Binarisierungsergebnis (Robert Bosch GmbH) Computer Vision 2_Seite 19

Die Auswertungsaufgaben N: 49.800067, E: 24.429837, h: 348996.5 Detektion im Bild Lokalisierung in der Welt Verfolgung Identifikation Analyse Computer Vision 2_Seite 20

Lokalisierung in der Welt Wo in der Welt befinden sich die im Bild detektierten Objekte? Geokodierung des Bildes. Wo in der Welt befinde ich mich selbst? Navigation durch Landmarken. Computer Vision 2_Seite 21

Lokalisierung in der Welt Geokodierung des Bildes Beispiel: Bild mit Straßenkarte Straßen aus Vektorkarte: Anpassung mittels Flugdaten Automatische Feinkodierung Computer Vision 2_Seite 22

Lokalisierung in der Welt Navigation anhand von Landmarken Beispiel: INS-Rekalibrierung Aktuelle Schrägansicht Zuordnung durch Schätzung der Parameter der projektiven Transformation Orthophoto Flughafen Computer Vision 2_Seite 23

Lokalisierung in der Welt Navigation anhand von Landmarken Beispiel: INS-Rekalibrierung Merkmale im Schrägansichtsphoto Merkmale im Orthophoto Computer Vision 2_Seite 24

Lokalisierung in der Welt Navigation anhand von Landmarken Beispiel: INS-Rekalibrierung Referenzierungsergebnis: Transformation zwischen den Bildern In das Orthophoto projizierte Schrägaufnahme In die Schrägaufnahme projiziertes Orthophoto Computer Vision 2_Seite 25

Landmarken-Navigation anhand Fahrspurbegrenzung Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Detektion und Verfolgung von Fahrspurbegrenzungen - markiert - unmarkiert Klassifikation von Fahrspurbegrenzungen Mehrspurdetektion Fortlaufende Güteüberwachung, ggf. Re-Initialisierung. Autobahn/Landstraße Computer Vision 2_Seite 26

Landmarken-Navigation anhand Fahrspurbegrenzung Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Modellerzeugung der Landmarken Tele ATLAS Gerichtete Graphen Jpoints Lon, lat Edges Name Class Permissions Innenortsbereiche Link between digital map and controller: Controller can give feedback to navigation module for position estimation Navigation module delivers geometric and semantic road data to controller Computer Vision 2_Seite 27

Landmarken-Navigation anhand Fahrspurbegrenzung Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Modellerzeugung der Landmarken Ergebnis Two kinds of corners: 3.5m and 6m radius Road width associated to road class Computer Vision 2_Seite 28

Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Computer Vision 2_Seite 29

Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Computer Vision 2_Seite 30

Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Computer Vision 2_Seite 31

Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Computer Vision 2_Seite 32

Die Auswertungsaufgaben Detektion im Bild Lokalisierung in der Welt Verfolgung Identifikation Analyse Computer Vision 2_Seite 33

Verfolgung Folge von Prädiktion und Detektion (Messung) Merkmalstracker Modelltracker Weitere: - Korrelationstracker - Umrisstracker (Snakes) Computer Vision 2_Seite 34

Die Auswertungsaufgaben „Space Shuttle“ Detektion im Bild Lokalisierung in der Welt Verfolgung Identifikation Analyse Computer Vision 2_Seite 35

Identifikation Typbestimmung mittels Bildmerkmalen Binari- sierung Merkmalextraktion Klassifikatortraining, Klassifikator, mit Merkmal- datenbank Klassifikationsvor- schläge: Boing 737: 0.279 A320 : 0.599 .... Binari- sierung Merkmalextraktion, Klassifikation Computer Vision 2_Seite 36

Identifikation Typbestimmung durch Anpassung von CAD-Modellen Anpassung eines jeden Modells bezüglich Position und Winkellage an die Objektkanten im Bild. Restfehler: Ähnlichkeit Das Modell mit dem kleinsten Restfehler identifiziert den Objekttyp. A310-300 B737-300 A300-600 Computer Vision 2_Seite 37