„Regel- und Korrekturmechanismen in DSP-basierten Digitalkameras“

Slides:



Advertisements
Ähnliche Präsentationen
E-2000™ PRÄZISIONS LWL-STECKSYSTEM.
Advertisements

Hochkompakter optischen Verbindungssystem
Auf Ihrer Festplatte werden hierzu keine Daten installiert!
Anbindung mobiler Endgeräte über den Terminal Service
Programmieren im Großen von Markus Schmidt und Benno Kröger.
Abschluss-Präsentation
JENIFFER: Wie die Farbe in das Digitalbild kommt
Verteidigung Bachelorarbeit
Die Vorteile von Envel WLAN-BS gegenüber gängige „Betreibermodelle“
A Model of Saliency-Based Visual Attention for Rapid Scene Analysis
Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.
Datenbankzugriff im WWW (Kommerzielle Systeme)
Bild I 1. Bildverarbeitungssysteme 1.1 Beispielhafte Einsatzgebiete
CAR Car Augmented Reality Präsentiert von Michael Emmersberger
Thorsten Jost INF-M2 – AW1 – Sommersemester Mai 2008
11/2005 MATRIX VISION GmbH 1 mvBlueFOX - Die USB Kamera mit integriertem Hardware Real-Time Controller (HRTC) Uwe Furtner, MATRIX Vision GmbH.
Dipl.-Ing. (FH) Carsten Büttner, MSc.
Mein Name ist Bernhard Frei
Schnittstellen in der Bildverarbeitung
Innovation in Sensorik
Mit uns lernen Ihre Maschinen sehen: Wir verfügen über langjährige Erfahrung in der Bildverarbeitung Wir blicken auf zahlreiche realisierte.
7. Framos-Forum, 2./3. Juni, 2005 München
Unser Programm 1. wenglor - Kurzvorstellung
SICK - Führender Hersteller industrieller Sensorik - Weltweit mehr als 4000 Mitarbeiter - Über 40 Tochtergesellschaften in allen Industrienationen - Umsatz.
Special Effects Realistischeres Rendern einer Scene.
n4 Streaming Media System
Softing presentationSlide 1 Softing - ein kurzer Überblick Softing - ein kurzer Überblick.
Studienarbeit Mini-Web-Server auf einem Signalcontroller
MicroLink dLAN.
Schnittstellen des Computers
Pagoda Systems Software Solutions
Best Fit Matching von Punktewolken
Fotografieren Worauf es ankommt
Digiskopie Eine Einführung von Florian Haberey
Grundlegende Begriffe
Peripheriegeräte Erkennen und Funktionsweise
Mach das Foto Mach das Foto Wie schiesst du dein Foto: - Sitze vor deinen Monitor. - Schaue direkt ins Objektiv. - klicke auf Mach das Foto. - BEWEGE.
Eine kundenspezifische Erfrischung gefällig? Kein Problem mehr! Die Zeiten der langweilig aussehenden Getränkedosen sind nämlich vorbei. Dafür sorgt ab.
Periphere Aussensicherung
Die Funktionsweise eines Beamers
PC100 - Der modulare Ex-PC 12,1“ Panel-PC PC100 Panel-PC Konzept
IQeye Megapixel IP Kameras. Wer ist IQeye bzw. IQInvision ? IQInvision ist einer führenden Hersteller von Megapixel IP-Kameras seit 1998 Sitz in USA Präsent.
„Katalog und Bestell-Format
Präsentiert Informationen auf den Punkt gebracht.
DC 155 – Das Konzept DC155 Das Konzept DC155 Technische Features
Produktmanagement RimatriX & Software Solutions / Fabian Schäfer / 12
Präsentation von Alexander Schönfeld
BREWERY-AUTOMATION Solutions for Micro- Breweries
Fahrspurerkennung in Videoechtzeit mit SoC
Graphik, Doku und Monitor für TWS
Ein Vortrag von Simon Bayer
Größerer Funktionsumfang. Mehr Effizienz. Mit dem Lexmark MX6500e – der vielseitigen, multifunktionalen Erweiterung.
Context-awareness Andreas Bossard, Matthias Hert.
Fotografieren Worauf es ankommt
PROTECT A. 700 bis 1400 VA Sicherheit für PCs, Workstations und Telefonanlagen.
Hardware / Software Codesign Hardware vs. Software: Maßnahmen zur Erreichung der Design-Ziele.
Ein Überblick über verschiedene Verfahren
Quellen: Internet INTRANET Ausarbeitung von Sven Strasser und Sascha Aufderheide im Modul Netzwerktechnik, Klasse INBS Mai 2003.
iMAS Schnittstellen - Übersicht
Arbeitsspeicher Eine Präsentation von - Namen wurden entfernt -
Grundlagen, Prinzipien und Aufgaben eines Betriebssystems
Directors Prof. Dr.-Ing. K.D. Müller-Glaser Prof. Dr.-Ing. J. Becker Prof. Dr. rer. nat. W. Stork Institute for Information Processing Technology.
Forschungszentrum Karlsruhe Technik und Umwelt Bernd Köhler, Institut für Angewandte InformatikStatusseminar, Bilderfassung im Rahmen des Greiferbaukastens.
Institut für Kartographie und Geoinformation
Schnittstellen vom Computer
Zehn gute Gründe 1 Zehn gute Gründe zum Verkauf des Laserprojektors VPL-FHZ55 VPL-FHZ55.
Institut für Eisenhüttenkunde Department of Ferrous Metallurgy Methoden der digitalen Bildverarbeitung zum Auffinden von fluoreszierenden Punkten auf Messproben.
Spärliche Kodierung von Videos natürlicher Szenen Vortragender: Christian Fischer.
Rechen- und Kommunikationszentrum (RZ) Selektionsstrategien auf Graphstrukturen Sven Porsche Seminarvorträge Aachen.
Roboternavigation und Sichtsysteme
 Präsentation transkript:

„Regel- und Korrekturmechanismen in DSP-basierten Digitalkameras“ ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Referent: Dr.-Ing. Günter Uhlrich (Geschäftsführer) Kontakt: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH Erlanger Allee 103 07747 Jena Tel: 0 36 41 / 22 26 0 Fax: 0 36 41 / 22 26 11 E-Mail: info@abs-jena.de

Profil der ABS GmbH Jena Die ABS GmbH versteht sich als Entwickler und Hersteller von speziellen an Kundenanforderungen angepassten DSP-/FPGA-basierten Digitalkamera- systemen. Die Basis dafür bildet langjährige Erfahrung - auf dem Gebiet der Elektronikentwicklung und der digitalen Signalverarbeitung - als Systemintegrator auf dem Gebiet der digitalen Bildverarbeitung Die ABS GmbH verfügt über eine modular realisierte Familie von industrietauglichen Kamerasystemen. ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Inhalt 1. Einleitung: Einsatzfelder für Digitalkameras mit DSP 2. ABS-Kamerafamilie USB2.0 3. Systemkonzepte von Kameras mit DSP 4. Helligkeitsregelung 5. Farbregelung 6. Bildverbesserung 7. Kamerasteuerung/sonstiges 8. Anwendungsmöglichkeiten für intelligente Kameras im Sinne der Bildverarbeitung 9. Ausblick ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Motivation Die Entwicklung der technischen Möglichkeiten einer in die Kameras integrierten leistungsfähigen Elektronik (DSP/Speicher/FPGA) stellt die Entwickler und Hersteller von modernen Kamerasystemen für kommerzielle Anwendungen auch vor ständig steigende Erwartungen/Anforderungen an die Verarbeitungsfähigkeiten (Verarbeitungsintelligenz) der Kamerasysteme. Diese Erwartungshaltung wird verstärkt durch die hohe Funktionsvielfalt von Digitalkameras für die private und auch professionelle Fotografie. Zwar können die oft preiswerten Digitalkameras aufgrund ihrer extremen Optimierung auf Kosten, Baugröße und Energieverbrauch die physikalischen Anforderungen kommerzieller Kamerasysteme nicht erfüllen (Empfindlichkeit, Rauschen, Geschwindigkeit, Homogenität der Pixeleigenschaften, Farbkonstanz, ...), jedoch prägen sie die o. g. Erwartungshaltung. Es ist nicht möglich, in einem 25-Minuten-Vortrag die Thematik eingehend darzustellen. Deshalb kann nur versucht werden, einen Überblick über den Umfang und die Komplexität zu geben. Einige Ausführungen erfolgen zu den zentralen Themen Helligkeitsregelung, Weißabgleich, Farbregelung. ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

1. Einleitung (1) Einsatzfelder für Digitalkamerasysteme mit DSP/FPGA: Industrielle Bildverarbeitung Robotik Überwachung/Zugangskontrolle Sicherheitsüberwachung Verkehrsüberwachung Maschinen-/Anlagenüberwachung Prozessüberwachung Biometrie (Gesicht, Hand, Finger, Iris) Mikroskopie Astronomie Photographie ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

1. Einleitung (2) Regelmechanismen haben große Bedeutung bei Visualisierung und Aufzeichnungssystemen: Ziel: Bildinformationen stärker hervorheben Beispiele für Regelaufgaben: Regelung von Helligkeit und Ausleuchtung Farbkorrektur Rauschminderung geometrische Entzerrung ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

1. Einleitung (3) - Bildübertragungssystem (vereinfachtes Prinzip) Sensorsteuerung Sensorkennlinie/LUT Verstärkung Area of Interest Sensor AD-Wandler Bild im Sensor- Koordinatensystem Farbraumanpassung Monitor (Gamma-Korrektur) Bildvorverarbeitung Farbinterpolation geometrische Entzerrung Belichtungskorrektur Farbbalanceanpassung Zwischenbild Farbraumanpassung Drucker ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

1. Einleitung (4) Grenzen für Regelmechanismen bei Digitalkameras mit DSP: Messende Bildverarbeitung: Vorverarbeitung mit großer Vorsicht! Gefahr der Bildverfälschung Die beste Bildvorverarbeitung in der messenden Bildverarbeitung ist keine Vorverarbeitung! ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

2. ABS-Kamerafamilie mit USB2.0-Interface (1) - Intelligente Digitalkameras auf DSP-/FPGA-Basis Kameratyp UK2000 UK2001 UK3075 UK3058 Bildauflösung 640 x 480 640 x 480 2048 x 1536 1360 x 1024 0,3 MPixel 0,3 MPixel 3,1 MPixel 1,4 MPixel Format VGA VGA QXGA SXGA+ Sensor 1/3 ” CMOS 1/2 ” CMOS 1/2 ” CMOS 2/3 ” CCD* monochrom / color monochrom / color color monochrom / color Pixelgröße 7,5 x 7,5 m 9,9 x 9,9 m 3,2 x 3,2 µm 6,45 x 6,45 µm A/D-Auflösung 12 bit 10 bit 10 bit 12 bit Bildrate (Sensor) 30 fps 120 fps 12 fps 15 fps Dynamikbereich 103 dB 60 dB 60dB > 60 dB Shutter Rolling Shutter Global Shutter Rolling Shutter** Global Shutter * Sony ExView HAD CCD ** Global Shutter Release für den Snapshot-Mode ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

2. ABS-Kamerafamilie mit USB2.0-Interface (2) Schlüsseleigenschaften der Kamerafamilien UK20xx und UK30xx (1) Kamerafamilie UK20xx Kamerafamilie UK30xx 52 mm x 51 mm x 56 mm 52 mm x 51 mm x 90 mm robuste industrietaugliche Gehäusekonstruktion mit gängigen Anschraubmöglichkeiten (von allen 4 Seiten sowie von der Frontfläche) C-Mount-Objektivanschluss kompakte Kamera 52 mm x 51 mm x 56 mm (90 mm bei UK30xx) interne Glasabdeckung als zusätzlicher Sensorschutz (Staub, Kratzer) Justagering für Auflagemaß (z. B. nutzbar für Makroeinstellungen des Objektivs; ermöglicht Verwendung preiswerter Objektive mit Auflagemaßfehler) ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

2. ABS-Kamerafamilie mit USB2.0-Interface (3) Schlüsseleigenschaften der Kamerafamilien UK20xx und UK30xx (2) Rückansicht UK20xx/UK30xx schraubbare industrielle Steckverbinder, insbesondere auch USB schraubbar 2x4 SPS-taugliche I/O’s (optoentkoppelt; externe Versorgungsspannung konfigurierbar; nominell 12 bzw. 24 V; kurzschlussfest) konzipiert zum Einsatz mit Blitzlichtsystemen (insbesondere LED-Blitzsystemen) Triggerausgang für Blitzbeleuchtung “Extsync” Eingang für Bildtriggerung “Snapshot”; asynchroner Trigger geringer Leistungsverbrauch (< 2,5 W) weiter Eingangsspannungsbereich 9 ... 36 V entwickelt für hohe Zuverlässigkeit (Wärme, Kälte,Vibration, Kurzschlussfestigkeit der I/O’s, ...) USB2.0 geschraubt Power SPS-I/O ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

2. ABS-Kamerafamilie mit USB2.0-Interface (4) Schlüsseleigenschaften der Kamerafamilien UK20xx und UK30xx (3) USB-Interface  Framegrabber ist nicht nötig ! - einfach zu handhaben; Plug & Play - mehrere Kameras parallel am PC standardmäßig betreibbar, entsprechend synchronisierbar leistungsfähiges SDK im Lieferumfang mit Demoprogramm und Codebeispielen zur einfachen Integration in nutzereigene Software für Betriebssystem MS Windows (Win98SE, Win2000, WinXP); optional auch für LINUX Kompatibilität zu gängigen Bildverarbeitungssystemen/Softwarepaketen wie - VICOSYS - HALCON - MontiVision - Neurocheck (in Vorbereitung) Softwareschnittstelle kompatibel zu DirectShow, damit nutzbar in vielen Windows basierten Programmsystemen Firmwareupdate via USB ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

2. ABS-Kamerafamilie mit USB2.0-Interface (5) Schlüsseleigenschaften der Kamerafamilien UK20xx und UK30xx (4) interner DSP/FPGA; Möglichkeit, die DSP-/FPGA-Verarbeitungsleistung Kundenwunsch bezogen einzusetzen AOI; on-the-fly veränderbar horizontal, vertical and full binning Bildzähler mit präziser Zeitmarke (Time Stamp) LUT direkt in der Kamera, on-the-fly umschaltbar Bildspeicher inklusive (8 bis 32 MByte SDRAM); sicherer und robuster Bildeinzug modulares Konzept (OEM-Module verfügbar) wahlweise off-board / on-board Colorprocessing, d. h. decodiert Bayer-Pattern (on board Bayer Demosaicing; on board RGB  YUV Generation; Color Correction) Übertragungsbandbreite  PC-Entlastung Bilddatenkompression, Motion-JPEG (MPEG-4 in Vorbereitung) zusätzliche digitale Offset- und Gain-Anpassung für bestmöglichen Kontrast erweiterter Temperaturbereich des Sensors –40°C bis +85°C (UK2000) nichtlineare Sensorkennlinie  Übersteuerungsfestigkeit (UK2000) quadratische Pixel  geeignet für Messtechnik Real Time Shading-Korrektur (s/w oder RGB)

2. ABS-Kamerafamilie mit USB2.0-Interface (6) Typische kundenspezifische Modifikationen - Konstruktive Anpassung zur optimalen Integration in das Gesamtgerät, typisch mit abgesetzten Bildsensoren - Kamerasysteme mit meist mehreren synchronisierten Sensoren - „mehräugige Systeme“  verschiedene Blickrichtungen  verschiedene Abbildungsoptiken (z. B. Weitwinkel- und Teleobjektiv)  Multispektral-Systeme  als Stereokamerasystem mit synchron getriggerter Bildauflösung - Energie sparende Systeme für batteriebetriebene Geräte mit Bilddatenkompression - miniaturisierte Systeme mit extrem hoher Packungsdichte, z. B. mit Starr-Flex- Leiterplatten ausgeführt - Kamerasysteme mit direkter DVI-Monitorsignalausgabe - low cost Mess- und Sensorsysteme mit Integration der gesamten Geräteelektronik in die Kamerabaugruppe ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

3. Systemkonzepte von Digitalkameras 1. Kameras mit DSP höhere Flexibilität einfachere Realisierung von speziellen Verarbeitungsalgorithmen intelligentere Verarbeitungsfunktionen 2. Kameras mit FPGA sehr hohe Verarbeitungsleistung Farbinterpolation, Datenkompression, Filterung, Korrelation Nachteil: hoher Entwicklungsaufwand für spezielle Algorithmen 3. Kameras mit DSP und FPGA Kombination der vorteilhaften Eigenschaften von DSP und FPGA 4. Kameras mit Spezialprozessoren Spezialprozessoren: SoC (Silicon on Chip), Webcam etc. Blockschaltbild 1 Blockschaltbild 2 Aufgaben Blockschaltbild 3a-3c ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

4. Helligkeitsregelung - Vorbereitung der Kamera In vielen Fällen fehlt Licht. Typische Prozedurabfolge: Schaffung optimaler Beleuchtungsbedingungen Blende vergrößern bis Tiefenschärfegrenze oder Qualitätslimit des Objektivs erreicht ist Belichtungszeit vergrößern bis Grenze der zulässigen Bewegungsunschärfe erreicht ist automatische Regelung starten ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

4. Helligkeitsregelung - Regelszenarien Aufgabe: Anpassen der Dynamik der Kamera an die Dynamik der Szene Dynamik Sensor- kennlinie linear nichtlinear Wieviele Dekaden? Histogramm- regelung? Anwendungsbeispiele: Wieviele über-/untersteuerte Pixel zulassen? Auswahl des Algorithmus linear kumulativ ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

- Menschliches Sehsystem kann starke Varianz der 5. Farbregelung (1) Grundproblematik - Menschliches Sehsystem kann starke Varianz der Beleuchtung automatisch ausgleichen ohne den Farbeindruck zu verfälschen. Farbkameras können diese intelligenten Algorithmen (noch) nicht realisieren. Eine akzeptable Farbdarstellung erfordert neben dem Weißabgleich eine beleuchtungsabhängige Farbraumtransformation, die sich auch am Wiedergabemedium orientiert. Bildübertragungssystem ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

5. Farbregelung (2) Grundsätzliche Lösungsansätze: 1. Manuell Farbeindruck regeln Korrektur über Einstellelemente für Rot-, Grün-, Blauverstärkung Chrominanz Rot und Blau getrennt (2 Parameter) Farbtemperatur (1 Parameter) 2. Kalibriervorlage Kalibrierung mit Weißvorlage oder Farbtafel (halbautomatisch) Farbabgleich durch Suche eines bekannten (i. d. R. weißen) Objektes, z. B. Roboteranwendungen 3. Lichtmessung manuelle oder automatische Ermittlung der Beleuchtungscharakteristik (Belichtungssensor mit Streuscheibe/Farbfilter) ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Spektrum des Beleuchtungslichtes aus dem Bild schätzen 5. Farbregelung (3) Regelalgorithmen für den Weißabgleich: - Gray-World-Algorithmus - Annahme des perfekten Reflektors - White-Patch (Retinex) Algorithmus Farbregelung und Beleuchtung müssen zusammen betrachtet werden! Spektrum des Beleuchtungslichtes aus dem Bild schätzen und zur Korrektur heranziehen! ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Probleme automatischer Regelalgorithmen - Gray-World-Algorithmus (GW) 5. Farbregelung (4) Probleme automatischer Regelalgorithmen - Gray-World-Algorithmus (GW) Überkorrektur von Farbstichen (helle Bereiche) - Annahme des perfekten Reflektors (PR) unvollständige Korrektur von Farbstichen (helle Bereiche) - White-Patch (Retinex) Algorithmus (WP) Überbewertung einzelner Pixel Das Ergebnis erscheint häufig subjektiv! Retinex Lösungsansätze: - Hybridalgorithmen (GW + PR, GW + WP) - Wichtung der Pixel, z.B. nach räumlicher und spektraler Nähe - modifizierter Gray-World-Algorithmus nur für helle Pixel ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

6. Bildverbesserung (1) 1. Sensorkalibrierung (FPN-Korrektur) Offset-Korrektur “Offset Fixed Pattern Noise” Verstärkungsausgleich der Sensorelemente “Gain Fixed Pattern Noise” oder PRNU 2. Shadingkorrektur Ausgleich von Beleuchtungsinhomogenitäten Ausgleich des optisch bedingten Randabfalls der Helligkeit 3. Geometrische Entzerrung und Korrektur Ausgleich nichtquadratischer Pixel Ausgleich von Objektiv-Verzeichnungen Entzerrung z.B. von “stürzenden Linien”, Luftbildentzerrung Skalierung und Drehung Beispiele ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

6. Bildverbesserung (2) 4. Rauschverminderung Mittelwertfilterung gewichtete Mittelwertfilterung (z.B. Gaussfilter) nichtlineare Filterung (z.B. Medianfilter) 5. Kontrastverstärkung / Bildschärfeverbesserung Histogrammanpassung Kantenverstärkung Schärfeoperatoren (z. B. Unscharfmaskierung) 6. Bildstabilisierung Video konstantes Bildfeld bewegtes Bildfeld Zoom Kamerafahrt Kameraschwenk Beispiele ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

7. Kamerasteuerung/sonstiges Aufgaben für DSP/FPGA sind von konkreter Anwendung abhängig, z.B.: 1. Autotrigger für messende Bildverarbeitung keine externen Triggersensoren nötig Intelligenter Aktivitätsdetektor 2. Autofokus/Belichtungssteuerung Steuerung von Autofokus und Blende 3. Möglichkeit für Datenkompression, z. B. Bild ins JPEG-Format konvertieren 4. Panoramabilderzeugung mit Farb- und Helligkeitsanpassung + geometrischer Entzerrung 5. Realisierung eines DVI-Ausgangs für moderne Monitore 6. Gesicherte Datenübertragung über USB/Firewire/LAN 7. Wavefront-coded image processing ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

8. Anwendungsmöglichkeiten für intelligente Kameras Industrielle Bildverarbeitung Einsparung von PCs durch Kameras mit BV-Kompetenz Einsatz als kompakter Prüfsensor für geometrische Maße Anwesenheit von Teilen/Merkmalen Auslesen von Barcodes/Data-Matrix-Codes Orientierung/Navigation im Roboterumfeld Objektlageerkennung Einsatz schneller Bildkorrelation für Navigation (als fortlaufende Bestimmung des Verschiebungsvektors) Lageregelung Beispiel ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

9. Ausblick Image-Sensoren werden immer komplexer / intelligenter  z.B.: Sensor Micron MT9V022 Histogrammbasierte Helligkeitsregelung (AEC + AGC) Bildfeldsegmentierte Verstärkungseinstellung (Gain) Bildfeldgesteuerte (gewichtete) Bestimmung der Helligkeitsregelgröße Stereo-Sensorbetriebsmodus Image-Sensoren werden immer fehlerhafter Aufgaben: - Beherrschung und Nutzung der neuen Features der Sensoren durch die Entwickler (auch Beherrschung / Umgehung der Fehler) - Lösung der Problematik, die neuen Features für den Kameraanwender handhabbar zu machen (Ergonomie)  teilweise nur durch intelligente Regelalgorithmen oder durch „Expertensystem“ beherrschbar © Micron ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Zum Schluss noch in eigener Sache: Bitte nennen Sie der ABS Ihre Anforderungen an DSP-/FPGA-basierte Digitalkamerasysteme! Wir wünschen uns eine Kooperation mit Know-How-Trägern auf dem Gebiet „Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras“. Kontakt: Dr. Günter Uhlrich ABS GmbH Erlanger Allee 103 07747 Jena Tel.: 0 36 41/22 26 0 Email: info@abs-jena.de www.abs-jena.de Vortragsanfang ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Literaturauswahl [1] S. Süsstrunk, “Introduction to Color Processing in Digital Cameras”, EPFL Lausanne, Switzerland, 2002. [2] B. Martinkauppi, “FACE COLOUR UNDER VARYING ILLUMINATION - ANALYSIS AND APPLICATIONS”, University of Oulu, 2002. [3] J. Laine, “Using Illumination Information in Color Balance Adjustments”, Graphic Arts in Finland 30(2001)1. [4] D. J. Jobson, Z. Rahman, G. A. Woodell, “A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes”, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 6, NO. 7, 1997. (http://dragon.larc.nasa.gov/retinex/) [5] U. Krüger, F. Schmidt, “Ortsaufgelöste Farbmessung”, TechnoTeam Bildverarbeitung GmbH Ilmenau, FRAMOS CCD Forum 2003. [6] U. Schmidt, “Elektro-optische Charakterisierung von CMOS Sensoren am Beispiel des STAR1000 Active Pixel Sensors”, Jena-Optronik GmbH, Jena. [7] Micron Technology Inc., “MT9V022 AEC and AGC Functions”, Technical Note, 1/3/2005. [8] Xilinx, Inc., „Image Scaling & Enhancement IP“, 2004, (http://www.xilinx.com/esp/mil_aero/collateral/presentations/image_scaling_enhance.pdf) ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Anhang ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Bildübertragungssystem Sensorsteuerung Sensorkennlinie/LUT Verstärkung Area of Interest Sensor AD-Wandler Bild im Sensor- Koordinatensystem Farbraumanpassung Monitor (Gamma-Korrektur) Bildvorverarbeitung Farbinterpolation geometrische Entzerrung Belichtungskorrektur Farbbalanceanpassung Zwischenbild Farbraumanpassung Drucker zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Blockschaltbild - Kamera mit DSP zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Blockschaltbild - Kamera mit FPGA zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Blockschaltbild - Kamera mit DSP/FPGA (a) weiter zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Blockschaltbild - Kamera mit DSP/FPGA (b) weiter zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Blockschaltbild - Kamera mit DSP/FPGA (c) zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Kontrastverstärkung mit kumulativem Histogramm Histogramm Originalbild Transferfunktion Grauwertübersetzung Histogramm kontrastverstärktes Bild zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Dynamikanpassung Originalszene - Kamerasystem 12 Bit zurück 8 Bit ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Schnelle Kreuzkorrelation - Verschiebungsvektor Ermitteln des Verschiebungs-/Geschwindigkeitsvektors Suchfenster Merkmale: pixelgenau robust gegen Störungen (z.B. Beleuchtungsänderungen) Bedingungen: genügend strukturiertes Bild + ausreichend Überlappung keine periodischen Strukturen innerhalb des Bildes weiter zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Schnelle Kreuzkorrelation - Navigation Bestimmung der Bahnkurve aus einer Abfolge von Verschiebungsvektoren Kameradrehungen sind hier nicht betrachtet, lassen sich aber mit einem ähnlichen Algorithmus berücksichtigen zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Aufgaben für FPGA Typische Aufgaben, die elegant durch FPGA-Nutzung realisiert werden können. Bildskalierung Bilddrehung Farb-/Gammakorrektur mehr Farben mit Rasterung/Halftoning Kontrast-, Helligkeits-, Schärfverbesserung Rauschminderung zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Bildskalierung weiter zurück XILINX Quelle: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Bilddrehung zurück Quelle: XILINX ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Ästhetische Bildverbesserung Kontrast Helligkeit weiter zurück Schärfe Schattenaufhellung Quelle: XILINX ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Spatial Enhancement / Kantenverstärkung weiter zurück Quelle: XILINX ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Bildschärfung geschärft original zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

lineare Histogrammentzerrung (1) Histogramm flaues Bild Gradationskurve Histogramm nach Entzerrung ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de weiter zurück

lineare Histogrammentzerrung (2) Histogramm flaues Bild Gradationskurve Histogramm nach Entzerrung zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Retinex - Beispiele 1, 2 weiter zurück Quelle: Jobson et al ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Retinex - Beispiel 3 Quelle: Jobson et al weiter zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Retinex - Beispiel 4 weiter zurück Quelle: Jobson et al ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Retinex - Beispiel 5 weiter zurück Quelle: Jobson et al ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Retinex - Beispiel 6 weiter Quelle: Jobson et al zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Retinex - Beispiel 7 Quelle: Jobson et al weiter zurück ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Retinex - Beispiel 8 zurück Quelle: Jobson et al ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de