Zielsetzung Automatische Bildauswertung als Informationsquelle

Präsentation zum Thema: "Zielsetzung Automatische Bildauswertung als Informationsquelle"—  Präsentation transkript:

1 Zielsetzung Automatische Bildauswertung als Informationsquelle
Automatisches Situationsverstehen zur Ableitung von Maßnahmen Zur Unterstützung des Menschen Aufmerksamkeitssteuerung Diagnoseunterstützung Quantitative Analyse Für autonome Systeme Missionsplanung Regelung bei Missionsdurchführung Beantwortung der Grundfragen Wo befinde und wie bewege ich mich in Bezug auf meine Umgebung? (Navigation) Welche Objekte (Art, Ort, Zustand) befinden sich in meiner Umgebung? (Objekterkennung) Computer Vision _Seite 1

2 Die Auswertungsaufgaben
Detektion im Bild Lokalisierung in der Welt Verfolgung Identifikation Analyse Computer Vision _Seite 2

3 Was nicht passieren sollte
Computer Vision _Seite 3

4 Vorgehensweise Automatische Informationsgewinnung aus Bildern und Bildfolgen durch Messung der Bildinhalte (mittels Merkmalen) anhand von Modellen Modelle beschreiben den Kontext und das Ziel der erforderlichen Informationsgewinnung. Merkmale sind aus den Bilddaten gewonnene Elemente, die wesentliche Eigenschaften der Modellelemente enthalten. Die Messung gibt Aufschluss über das Maß an Übereinstimmung von Bildelementen mit dem Modell. Modellparameterschätzung: Maximierung des Übereinstimmungsmaßes bezüglich Modellparameter Klassifikation: Schwellwerte bezüglich des Übereinstimmungsmaßes entscheiden über die Zuordnung zur Modellklasse. Computer Vision _Seite 4

5 Vorgehensweise Merkmalselektion, Modellauswahl Klassifikation der
geschätzten Parameter Phys. Gesetze Expertensysteme Fuzzy Logic Lernende Klass. Merkmalsextraktion für Modelle Kanten, Ecken, Flecken,Texturmaße Verschiebungsvektorfelder, ... Parameterschätzung von expliziten und impliziten Modellen Änderungsdetektion Messung der räumlichen und zeitlichen Kohärenzen der geschätzten Parameter Sensorbewegungsmodell Objektbewegungsmodell Abbildungsmodell Objektmodell Semantische Beschreibung der Klassifikationsergebnisse und Kohärenzen Szenenmodell Szenendynamikmodell Computer Vision _Seite 5

6 ! Die Auswertungsaufgaben Detektion im Bild Lokalisierung in der Welt
Verfolgung Identifikation Analyse Computer Vision _Seite 6

7 Detektionsmechanismen
Radiometrische Eigenschaften (sensornah) Fernes Infrarot (Temperatur) Radar (Rückstreuquerschnitt, MTI) ... Geometrische Eigenschaften Umrißlinien Signaturen Dynamische Eigenschaften Interne Objektdynamik Bewegungsmuster Computer Vision _Seite 7

8 Helligkeit (Grauwert)
Detektionsmechanismen Detektion mittels radiometrischer Eigenschaften Fernes Infrarot (Temperatur) Beispiel Flugzeugdetektion in IR-Bildern (8-12 µm) Histogrammsegmentierung Hintergrund Objekt Anzahl Bildpunkte Helligkeit (Grauwert) Computer Vision _Seite 8

9 Detektionsmechanismen
Detektion mittels radiometrischer Eigenschaften SAR (Rückstreuquerschnitt) Beispiel: Landfahrzeuge in SAR-Bildern Rückstreuquerschnitt liefert auch andere Objekte als Landfahrzeuge (Clutterobjekte) Computer Vision _Seite 9

10 Detektionsmechanismen
Detektion mittels radiometrischer Eigenschaften Fernes Infrarot (Temperatur) Beispiel Landfahrzeuge in IR-Bildern 8-12 µm Honeywell- Linescanner Helle Bereiche nicht repräsentativ für zu detektierende Objekte Es werden auch andere Objekte detektiert . Manche Objekte werden nicht detektiert. Computer Vision _Seite 10

11 Detektionsmechanismen
Detektion mittels radiometrischer Eigenschaften Fazit Im einfachsten Fall sind die radiometrischen Objekteigenschaften vollkommen verschieden vom Hintergrund. Dann können so Objekte eindeutig detektiert werden. Hintergrundobjekte haben z.T. die gleichen radiometrischen Eigenschaften wie die Objekte. Dies führt zu Falschalarmen. Im schwierigsten Fall sind die radiometrischen Objekteigenschaften dem Hintergrund sehr ähnlich. Dann müssen entweder extrem hohe Falschalarmraten oder Fehldetektionen (misses) hingenommen werden. können so Objekte eindeutig detektiert werden. Abhilfe durch Zuhilfenahme geometrischer Merkmale Computer Vision _Seite 11

12 Detektionsmechanismen
Detektion mittels geometrischer Eigenschaften Umrisse Originalbild Verarbeitung einer “Region of Interest” Computer Vision _Seite 12

13 Detektionsmechanismen
Rechtwinkligkeit IR Linescanner Bild der CL 289 Relevante Bereiche Computer Vision _Seite 13

14 Detektionsmechanismen
Detektion mittels geometrischer Eigenschaften Automatisch erlernte Signaturen Trainingsdatensatz für das automatische Training eines Klassifikators. Flugzeugsignaturen, die vom Verfahren gelernt werden Hintergrundbilder, die vom Verfahren gelernt werden Computer Vision _Seite 14

15 Detektionsmechanismen
Detektion mittels geometrischer Eigenschaften: Signaturen Anwendung: SAR-Flugzeugdetektor Anwendung auf nicht trainierte Bilder Computer Vision _Seite 15

16 Detektionsmechanismen
Detektion mittels dynamischer Eigenschaften Interne Objektdynamik Beispiel: Sich bewegende Rotoren von Hubschraubern Computer Vision _Seite 16

17 Detektionsmechanismen
Detektion mittels dynamischer Eigenschaften Hindernisdetektion mit optischem Fluß Lokal geschätzte Flußvektoren Computer Vision _Seite 17

18 Hindernisdetektion mit optischem Fluß
Detektionsmechanismen Hindernisdetektion mit optischem Fluß Klassifikation von Flußvektoren durch stochastischen Test: - bewegt, - stationär über Fahrbahnebene, - auf Fahrbahnebene. Als bewegt klassifizierte Flußvektoren Computer Vision _Seite 18

19 Hindernisdetektion mit bewegungskompensiertem Differenzbild
Detektionsmechanismen Hindernisdetektion mit bewegungskompensiertem Differenzbild Bewegungskompensiertes Differenzbild Binarisierungsergebnis (Robert Bosch GmbH) Computer Vision _Seite 19

20 Die Auswertungsaufgaben
N: , E: , h: Detektion im Bild Lokalisierung in der Welt Verfolgung Identifikation Analyse Computer Vision _Seite 20

21 Lokalisierung in der Welt
Wo in der Welt befinden sich die im Bild detektierten Objekte? Geokodierung des Bildes. Wo in der Welt befinde ich mich selbst? Navigation durch Landmarken. Computer Vision _Seite 21

22 Lokalisierung in der Welt
Geokodierung des Bildes Beispiel: Bild mit Straßenkarte Straßen aus Vektorkarte: Anpassung mittels Flugdaten Automatische Feinkodierung Computer Vision _Seite 22

23 Lokalisierung in der Welt
Navigation anhand von Landmarken Beispiel: INS-Rekalibrierung Aktuelle Schrägansicht Zuordnung durch Schätzung der Parameter der projektiven Transformation Orthophoto Flughafen Computer Vision _Seite 23

24 Lokalisierung in der Welt
Navigation anhand von Landmarken Beispiel: INS-Rekalibrierung Merkmale im Schrägansichtsphoto Merkmale im Orthophoto Computer Vision _Seite 24

25 Lokalisierung in der Welt
Navigation anhand von Landmarken Beispiel: INS-Rekalibrierung Referenzierungsergebnis: Transformation zwischen den Bildern In das Orthophoto projizierte Schrägaufnahme In die Schrägaufnahme projiziertes Orthophoto Computer Vision _Seite 25

26 Landmarken-Navigation anhand Fahrspurbegrenzung
Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Detektion und Verfolgung von Fahrspurbegrenzungen - markiert - unmarkiert Klassifikation von Fahrspurbegrenzungen Mehrspurdetektion Fortlaufende Güteüberwachung, ggf. Re-Initialisierung. Autobahn/Landstraße Computer Vision _Seite 26

27 Landmarken-Navigation anhand Fahrspurbegrenzung
Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Modellerzeugung der Landmarken Tele ATLAS Gerichtete Graphen Jpoints Lon, lat Edges Name Class Permissions Innenortsbereiche Link between digital map and controller: Controller can give feedback to navigation module for position estimation Navigation module delivers geometric and semantic road data to controller Computer Vision _Seite 27

28 Landmarken-Navigation anhand Fahrspurbegrenzung
Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Modellerzeugung der Landmarken Ergebnis Two kinds of corners: 3.5m and 6m radius Road width associated to road class Computer Vision _Seite 28

29 Lokalisierung in der Welt
Landmarken-Navigation anhand Fahrspurbegrenzung Computer Vision _Seite 29

30 Lokalisierung in der Welt
Landmarken-Navigation anhand Fahrspurbegrenzung Computer Vision _Seite 30

31 Lokalisierung in der Welt
Landmarken-Navigation anhand Fahrspurbegrenzung Computer Vision _Seite 31

32 Lokalisierung in der Welt
Landmarken-Navigation anhand Fahrspurbegrenzung Computer Vision _Seite 32

33 Die Auswertungsaufgaben
Detektion im Bild Lokalisierung in der Welt Verfolgung Identifikation Analyse Computer Vision _Seite 33

34 Verfolgung Folge von Prädiktion und Detektion (Messung)
Merkmalstracker Modelltracker Weitere: - Korrelationstracker - Umrisstracker (Snakes) Computer Vision _Seite 34

35 Die Auswertungsaufgaben
„Space Shuttle“ Detektion im Bild Lokalisierung in der Welt Verfolgung Identifikation Analyse Computer Vision _Seite 35

36 Identifikation Typbestimmung mittels Bildmerkmalen Binari- sierung
Merkmalextraktion Klassifikatortraining, Klassifikator, mit Merkmal- datenbank Klassifikationsvor- schläge: Boing 737: 0.279 A : Binari- sierung Merkmalextraktion, Klassifikation Computer Vision _Seite 36

37 Identifikation Typbestimmung durch Anpassung von CAD-Modellen
Anpassung eines jeden Modells bezüglich Position und Winkellage an die Objektkanten im Bild. Restfehler: Ähnlichkeit Das Modell mit dem kleinsten Restfehler identifiziert den Objekttyp. A B A Computer Vision _Seite 37