Computer Vision Prof. Dr. Norbert Link Beiträge von L. Berger W. Enkelmann M. Esswein F. Heimes N. Heinze A. Korn W. Krüger M. Müller G. Saur N. Rehfeld Computer Vision 1_Seite 1

Freiheitsgradschätzung Objektverfolgung Verschiebungsvektorfelder Inhalt Einführung Szeneninterpretation Bildentstehung Informationsgewinnung aus Einzelbildern Merkmalsextraktion Merkmalsauswertung Koordinatensysteme Sensorkalibrierung Freiheitsgradschätzung Informationsgewinnung aus Bildfolgen Objektverfolgung Verschiebungsvektorfelder Bewegungsschätzung Bildauswertungskomponenten im System Zusammenfassung und Ausblick Computer Vision 1_Seite 2

Zielsetzung und Vorgehensweise Überblick Einführung Was ist ein Bild? Anwendungsbeispiele Zielsetzung und Vorgehensweise Bildauswertungskomponenten Detektion im Bild Lokalisierung in der Welt Verfolgung Identifikation Analyse Bildauswertungskomponenten im System Zusammenfassung Computer Vision 1_Seite 3

Mikrowellen-Radar-Bild der Venus Präsentation im Computer Was ist ein Bild? Einführung Ausschnitt Mikrowellen-Radar-Bild der Venus Picture element: „Pixel“ Koordinaten Zeile i = 151, Spalte j = 55 Grauwert g = 208 g(151,55) = 208 Präsentation im Computer Computer Vision 1_Seite 4

Was ist ein Bild? Einführung Obiges Bild: 40.000 Helligkeitsmesswerte der Oberfläche der Venus angeordnet in einem Array mit 200 Spalten und 200 Zeilen Werte werden nummeriert mit Zeilenindex j von 0 ... 199 und Spaltenindex i von 0 ... 199 Ursprüngliche Messwerte: Rückgestreute Mikrowellenenergie des jeweiligen Venus-Oberflächenelements Bild repräsentiert die Messwerte durch Grauwerte 0 ... 255 0: keine Energie rückgestreut  schwarz, 255: maximale Energie rückgestreut  weiß Allgemein: Anzahl Zeilen und Spalten (Bildgröße) sensorabhängig (bis 12000 x 240000) Grauwerteanzahl (linearer Dynamikbereich) sensorabhängig (heute bis 16 bit) Ursprüngliche Messwerte sensorabhängig (z.B. emittierte Infrarot-Energie) Auch Volumenbilder sind möglich (3D-Anordnung von Grauwerten, z.B. CT) Farbbild enthält für jedes Pixel mehrere Werte (z.B. R G B) Computer Vision 1_Seite 5

Was ist ein Bild? Einführung Von einem Weltpunkt rückgestreute Lichtenergie Auf einen Bildpunkt auftreffende Lichtenergie Objektiv lenkt Lichtenergiestrom von einem Weltpunkt auf einen Bildpunkt der Sensorfläche. Sensor wandelt Lichtenergiestrom in elektrisches Signal. Computer Vision 1_Seite 6

Was ist ein Bild? Einführung Computer Vision 1_Seite 7

Kamera Objekt Objektiv Bildsensor Was ist ein Bild? CCD- Kamera-Chip Sensorfläche Ausleselogik Ausschnitt Sensorelemente (Pixel), ca. 5 µm Abmessung Kamera Objekt Objektiv Bildsensor Computer Vision 1_Seite 8

Anwendungsbeispiele Objektverfolgung aus Bildfolgen mit einer statischen Kamera Freigelände-und Gebäudeüberwachung Security Verkehr Kundenströme Hintergrundschätzung bildpunktweise Detektion abweichender Grauwerte Bildkoordinaten-Weltkoordinaten Zusammenfassung zu Objekten Objektverfolgung Spurbildung Spurauswertung Computer Vision 1_Seite 9

Anwendungsbeispiele Objektverfolgung aus Bildfolgen mit mehreren statischen Kameras Landungsüberwachung auf Flughäfen Übersichtskamera Segmentkamera Nachgeführte Detailkamera Zusätzlich Transformation zwischen Kamera-Koordinatensystemen Computer Vision 1_Seite 10

Anwendungsbeispiele Objektverfolgung –identifizierung und –analyse aus Bildfolgen Qualitätsprüfung Vollständigkeit Richtigkeit Maßhaltigkeit Anbauteile- Mustervergleich Flugzeug-Rumpfschalen-Produktion Merkmalsextraktion für Nieten Schätzung der Lageparam. Rumpfschale im Kamera-Koordinatensystem Anbauteile-Orientierung im Schalen-Koordinatensystem Berechnung der sichtbaren Anbauteilkonturen in Bildkoordinaten Mustervergleich Bildausschnitt mit Referenzbild Computer Vision 1_Seite 11

Anwendungsbeispiele Objektdetektion, -lokalisierung, -erkennung und –analyse aus Einzelbildern Luft- und Satellitenbildauswertung Landnutzung Umweltüberwachung Städtewachstum Aufklärung 65 Geocoding Raffinerieanalyse • Tankanzahl Orientierung Größe Einzeltankanalyse Durchm . Höhe Kapaz Tanklageranalyse Abrüstungskontrolle Merkmalsextraktion aus dem Bild Klassifikation der Merkmale Merkmalsextraktion aus der Karte Transformationsbestimmung Bild-Karte Objektvermessung Computer Vision 1_Seite 12

Anwendungsbeispiele Objektdetektion, -erkennung, -positions- und –lagemessung und -verfolgung in Bildsequenzen statischer Kameras Flugzeug-Andockleitsysteme Passagierbrücke Einroll- leitlinie Flughafengebäude B 737-300 Rollfeld Videokamera Stopposition Suche nach Flugzeugtemplate Bild-Weltkoordinaten Parameterschätzung (Lage und Position) durch Modellanpassung Display Objektverfolgung Computer Vision 1_Seite 13

Schätzung der Eigenbewegung der Kamera Anwendungsbeispiele Fahrspurverfolgung, Detektion und Verfolgung anderer Verkehrsteilnehmer aus Bildfolgen Fahrerassistenzsysteme Spurhalteassistent Automatische Cruise Control Kollissionswarner ... Extraktion von Merkmalen der Fahrbahnmarkierung Schätzung der Lageparam. Fahrspur im Kamera-Koordinatensystem Schätzung der Eigenbewegung der Kamera Bewegungskompensation für Fahrbahnebene Bewegungskompensiertes Differenzbild Binarisierung des bew.komp. Differenzbildes Datenfusion Computer Vision 1_Seite 14

Anwendungsbeispiele 4 6 2 Zusammenfassung Bildauswertung ist ein universell einsetzbares Werkzeug. Arten der Anwendung Emulation von Teilfähigkeiten menschlichen Sehens Quantitative Messung in Bildern Auswertung auch nicht-fokaler und nicht-optischer Sensoren Komplexität Aufgabenstellung Variationsbandbreite der Randbedingungen gut Quantitative Auswertung Daten-Speicherung / -Zugriff 4 6 Computer- Fähigkeiten Muster- erkennung 2 Sensorvielfalt Kognitive Verarbeitung Menschl. Fähigkeiten schwach gut Computer Vision 1_Seite 15

Komponenten der Lösungen Anwendungsbeispiele Zusammenfassung Komponenten der Lösungen Sensoren Video: sichtbar-optisch, focal plane array, Bildsequenz Radar: nicht-optisch, nicht-fokal, scannend, Einzelbild Algorithmen Merkmalsextraktion Merkmalsanalyse: Klassifikation, Templatematching Ballung Koordinatentransformation: Welt-Bild, Welt-Karte, Bild-Bild Modell-Parameterschätzung Bewegungsschätzung Tracking Fusion Computer Vision 1_Seite 16