1 Mai 2007 Seminar Intelligente Systeme KFZ-Kennzeichenerkennung Alexander Nöhrer Andreas Vida

2 Mai 2007 Seminar Intelligente Systeme Agenda Motivation Anforderungen Ablauf in einem typischen Gesamtsystem Ausgewählte Teilschritte Vergleich vorhandener Systeme

3 Mai 2007 Seminar Intelligente Systeme Motivation Automatisierte Mautabwicklung Section Control Parkanlagen Verkehrsflusskontrolle Überwachung

4 Mai 2007 Seminar Intelligente Systeme Anforderungen an solche Systeme Sie sollen in Gebäuden und im Freien funktionieren mit unterschiedlicher und ungleichmäßiger Beleuchtung klarkommen Invariant gegenüber Verzerrungen der Kennzeichen sein. robust gegen Defekte oder andere Störungen sein eine möglichst flexible Entfernung zwischen Kamera und Auto erlauben sollen mit alternativen Aufnahmetechniken (etwa IR) und bereits gespeicherten Bildern funktionieren

5 Mai 2007 Seminar Intelligente Systeme Allgemeine Vorgehensweise (I)

6 Mai 2007 Seminar Intelligente Systeme Allgemeine Vorgehensweise (II) P AC

7 Mai 2007 Seminar Intelligente Systeme Lokalisierung des Kennzeichens Eigenschaften der Kennzeichenregion: Vorgegebene Farbe und Textur Hoher Kontrast Ausgeprägte vertikale Kanten Rechtecksform mit fixem Seitenverhältnis Problem: Jedes Land hat eigene Vorgaben

8 Mai 2007 Seminar Intelligente Systeme Lokalisierung [Shapiro et al.2006] a)Downsampling b)Vertikale Kanten c)Rangfilter d)Vertikale Projektion

9 Mai 2007 Seminar Intelligente Systeme Lokalisierung [Shapiro et al. 2006] e) Neigungskorrektur über Radontransformation (oben) f) Weitere Eingrenzung über horizontale Projektion (rechts)

10 Mai 2007 Seminar Intelligente Systeme Lokalisierung [Mahini et al. 2006] 1.Skaliere Bild (starte mit 100x100 Pixel) 2.Finde Kandidatenregionen. Verwende dabei morphologische Operatoren, Sobel uvm… 3.Soft-Thresholding 4.Verifikation der Kandidatenregionen über deren Features: Größe, mittlere Intensität, Form, Seitenverhältnis. Projektion der Region auf die Hauptachse (PCA) und Analyse des enstehenden Histogramms 5.Schild nicht gefunden? Weiter bei 1. mit nächstgrößerer Skalierung. Sonst Lokalisierung fertig.

11 Mai 2007 Seminar Intelligente Systeme Grauwert-Morphologie I Sei A ein mxn Bild und B ein jxk Strukturelement Erosion Dilation Dilation dilates(erweitert) black regions [

12 Mai 2007 Seminar Intelligente Systeme Grauwert-Morphologie II Aufbauend auf Erosion und Dilation kann man definieren: Close A B = (A B) B Open A B = (A B) B Bothat A B = (A B) - A Tophat A B = A – (A B)

13 Mai 2007 Seminar Intelligente Systeme Kennzeichenlokalisierung Ausgangsbild

14 Mai 2007 Seminar Intelligente Systeme Kennzeichenlokalisierung 1.Grauwertbild 2.Bothat 2x8 3.Sobel (vertikal) 4.Abs 5.Histogrammstretch 6.Histogramm- logarithmierung 7.Medianfilter 5x5 8.Faltung mit 3x30 Matrix (nur 1en)

15 Mai 2007 Seminar Intelligente Systeme Kennzeichenlokalisierung Ausgangsbild: graue Regionen auf 1 gesetzt, Rest auf 0. Mahini verwendet R=G=B (?!)

16 Mai 2007 Seminar Intelligente Systeme Kennzeichenlokalisierung Ausgangsbild nach Closure mit einem 3x3 Strukturelement

17 Mai 2007 Seminar Intelligente Systeme Kennzeichenlokalisierung Oben: Bild der letzten Folie mit Schwellwert 50 Unten: Multiplikation der letzten 3 Bilder

18 Mai 2007 Seminar Intelligente Systeme Kennzeichenlokalisierung Oben: Bild der letzten Folie mit nach Closure (Mahini verwendet hier Tophat !?) Unten: Binärkandidaten (Schwellwert)

19 Mai 2007 Seminar Intelligente Systeme Kennzeichenlokalisierung Zahlreiche andere Ansätze –Template matching –Farbgrenzen (color collocation) –Gaborfilter + Vektorquantisierung –Farbbasiert mit SVM (support vector machine) + CAM (continuously adaptive mean shift) –Lokal adaptive Schwellwertverfahren –Neuronale Netzwerke…

20 Mai 2007 Seminar Intelligente Systeme Neigungskorrektur [Liu et al. 2005] 2 Arten der Verdrehung optimaler Winkel hat die schmalste horizontale Projektion Wichtig: Bezugspunkte finden, die auf einer Linie liegen (verwende 8-Nachbarschaft)

21 Mai 2007 Seminar Intelligente Systeme Segmentierung der Schriftzeichen Globaler Schwellwert, etwa [Otsu1979] Lokale Verfahren bringen Verbesserung Lokal adaptiver Schwellwert [Lee et al ]

22 Mai 2007 Seminar Intelligente Systeme Leistungsvergleich: Lokalisierung 1-2s98%490/500Color-features-Yang ?96%624/650Adaptive-local- binarization-Lee 1,28s3,7%missrate 7,3% false-detection-rate Color-Texture based- SVM-CAM-Kim <400ms81,2% (0% false detection rate) 812/1000Multinational - Shapiro 0,7s96,9%107/110Modular Networks – Ji 3,12s98%294/300Gabor+VQ - Kahraman 300ms96,5%260/269Feature based - Mahino

23 Mai 2007 Seminar Intelligente Systeme ?