Institut für Eisenhüttenkunde Department of Ferrous Metallurgy Methoden der digitalen Bildverarbeitung zum Auffinden von fluoreszierenden Punkten auf Messproben Daniela Uvira

Übersicht Motivation Phasen der digitalen Bildverarbeitung –Bildvorverarbeitung –Segmentierung –Merkmalsextraktion –Klassifikation –Anwendung in der Werkstoffprüfung Ausblick 2 EingabebildNegativ

Begriffserklärung Graustufenbilder Farbtiefe –8 Bit (0-255) Histogramm –Verteilung von Grauwerten Beispielbild aus der Natur 3 Beispielsbild aus der Natur

Motivation Phasen der digitalen Bildverarbeitung –Bildvorverarbeitung –Segmentierung –Merkmalsextraktion –Klassifikation –Anwendung in der Werkstoffprüfung Ausblick 4 EingabebildNegativ

Motivation Die Abteilung für Werkstoffprüfung führt zur Ermittlung von Fließkurven mit hohen Dehnungen Bulgeversuche durch Ein Blech wird in einer Prüfmaschine eingespannt und mit einem kontinuierlich steigenden Öldruck verformt Ein Kamerasystem nimmt dabei fortlaufend Bilder der Probe auf Teilaufgabe: Finden der fluoreszierenden Punkte auf dem Kamerabild Zweck: Verfolgung der Verformung der Probe 5 Aufnahme eines Bleches in der Prüfmaschine während des Bulgeversuchs

Phasen der digitalen Bildverarbeitung Motivation Phasen der digitalen Bildverarbeitung –Bildvorverarbeitung –Segmentierung –Merkmalsextraktion –Klassifikation –Anwendung in der Werkstoffprüfung Ausblick 6 EingabebildNegativ

Phasen der digitalen Bildverarbeitung Objekte im Bild sollen klassifiziert werden Mehrere Phasen bis zum Ergebnis notwendig –Bildvorverarbeitung –Segmentierung –Merkmalsextraktion –Klassifikation Phasen müssen nacheinander abgearbeitet werden 7

Bildvorverarbeitung Motivation Phasen der digitalen Bildverarbeitung –Bildvorverarbeitung –Segmentierung –Merkmalsextraktion –Klassifikation –Anwendung in der Werkstoffprüfung Ausblick 8 EingabebildNegativ

Bildvorverarbeitung Zuständig für die Aufbereitung der Bilddaten Je besser die Bildaufnahme ist, desto weniger muss in der Bildvorverarbeitung getan werden Hauptaufgaben: –Kontrastverbesserung –Rauschminderung Methoden kann man in drei Kategorien unterteilen: –Bildpunktoperationen –Lokale Nachbarschaftsoperationen –Globale Nachbarschaftsoperationen 9

Bildvorverarbeitung Mittels Transformation der Grauwerte oder der Grauwerthäufigkeiten kann der Kontrast verbessert werden Beispielmethoden: –Histogrammebnung –Look-Up-Tables –Dehnung der Grauwertskala 10 Kontrastverbesserung Kontrastarmes Bild

Bildvorverarbeitung 00 …… …… …… …… 255 Homogene Grauwerttransformation Lokale Bildpunktoperationen Tabelle muss nur einmal am Anfang der Transformation generiert werden Anschließend müssen nur noch die neuen Grauwerte nachgeschaut werden 11 Look-Up-Tables A (x, y) = Lut (E (x, y)) = E (x, y)²/255

Bildvorverarbeitung 12 Look-Up-Tables – Quadratische Kennlinie A (x, y) = E (x, y)²/255 EingabebildNach der Bearbeitung

Bildvorverarbeitung 13 Look-Up-Tables – Wurzelkennlinie A (x, y) = Sqrt(E (x, y)*255) EingabebildNach der Bearbeitung

Bildvorverarbeitung Gibt Auskunft über die Grauwertverteilung innerhalb eines Bildes –Belichtung –Dynamik –Kontrast eines Bildes Um ein Histogramm zu erstellen, werden für alle Grauwerte die Anzahl der Bildpunkte mit diesem Grauwert ermittelt 14 Histogramme

Bildvorverarbeitung Mittels einfacher Geradengleichung kann die Dehnung beschrieben werden Steigung stellt den Kontrast dar Schnittpunkt mit der y-Achse steht für die Helligkeit Je steiler die Gerade, desto größer ist die Dehnung 15 Dehnung der Grauwertskala

Bildvorverarbeitung 16 Dehnung der Grauwertskala

Bildvorverarbeitung Rauschen ist ein dem Bild überlagertes, zufällig Signal Rauschen verändert die Bildinformationen Glättungsfilter minimieren das Rauschen –Gauß-Filter –Mittelwertfilter –Medianfilter Lokale Nachbarschaftsoperationen 17 Rauschunterdrückung Verrauschtes Bild

Bildvorverarbeitung Rechnet den Mittelwert einer lokalen Nachbarschaft aus Beispiel: 18 Mittelwertfilter Eingabebild Ausgabebild

Bildvorverarbeitung Rechnet den Mittelwert einer lokalen Nachbarschaft aus Beispiel: –Es wird eine 3x3 Matrix als Nachbarschaft gewählt 19 Mittelwertfilter Eingabebild Ausgabebild

Bildvorverarbeitung Rechnet den Mittelwert einer lokalen Nachbarschaft aus Beispiel: –Es wird eine 3x3 Matrix als Nachbarschaft gewählt –Die Mitte ist der gerade betrachtete Punkt 20 Mittelwertfilter Eingabebild Ausgabebild

Bildvorverarbeitung Rechnet den Mittelwert einer lokalen Nachbarschaft aus Beispiel: –Es wird eine 3x3 Matrix als Nachbarschaft gewählt –Die Mitte ist der gerade betrachtete Punkt –Der Mittelwert wird errechnet 21 Mittelwertfilter Eingabebild Ausgabebild Mittelwert = ( )/9 = 29

Bildvorverarbeitung Rechnet den Mittelwert einer lokalen Nachbarschaft aus Beispiel: –Es wird eine 3x3 Matrix als Nachbarschaft gewählt –Die Mitte ist der gerade betrachtete Punkt –Der Mittelwert wird errechnet –Der Mittelwert der betrachteten Nachbarschaft wird der neue Grauwert des gerade betrachteten Bildpunkt 22 Mittelwertfilter Eingabebild Ausgabebild Mittelwert = ( )/9 = 29

Bildvorverarbeitung Rechnet den Mittelwert einer lokalen Nachbarschaft aus Beispiel: –Es wird eine 3x3 Matrix als Nachbarschaft gewählt –Die Mitte ist der gerade betrachtete Punkt –Der Mittelwert wird errechnet –Der Mittelwert der betrachteten Nachbarschaft wird der neue Grauwert des gerade betrachteten Bildpunkt 23 Mittelwertfilter Eingabebild Ausgabebild Mittelwert = ( )/9 = 29

Bildvorverarbeitung Rechnet den Mittelwert einer lokalen Nachbarschaft aus Beispiel: –Es wird eine 3x3 Matrix als Nachbarschaft gewählt –Die Mitte ist der gerade betrachtete Punkt –Der Mittelwert wird errechnet –Der Mittelwert der betrachteten Nachbarschaft wird der neue Grauwert des gerade betrachteten Bildpunkt –Der Rand bleibt frei, da Nachbarn fehlen Man erkennt, dass die Rauschpunkte starken Einfluss auf die lokalen Nachbarn nehmen Kanten werden verfälscht 24 Mittelwertfilter Eingabebild Ausgabebild

Bildvorverarbeitung 25 Mittelwertfilter Bild mit RauschenBild nach Verwendung des Mittelwertfilter

Bildvorverarbeitung Durchführung ähnlich wie der Mittelwertfilter Errechnet wird der Median der Nachbarschaft 26 Medianfilter Eingabebild Ausgabebild

Bildvorverarbeitung Durchführung ähnlich wie der Mittelwertfilter Errechnet wird der Median der Nachbarschaft 27 Medianfilter Eingabebild Ausgabebild Sortierte Reihe: 1, 1, 1, 1, 1, 1, 1, 1, 255

Bildvorverarbeitung Durchführung ähnlich wie der Mittelwertfilter Errechnet wird der Median der Nachbarschaft 28 Medianfilter Eingabebild Ausgabebild Sortierte Reihe: 1, 1, 1, 1, 1, 1, 1, 1, 255

Bildvorverarbeitung Durchführung ähnlich wie der Mittelwertfilter Errechnet wird der Median der Nachbarschaft 29 Medianfilter Eingabebild Ausgabebild Sortierte Reihe: 1, 1, 1, 1, 1, 1, 1, 1, 255

Bildvorverarbeitung Durchführung ähnlich wie der Mittelwertfilter Errechnet wird der Median der Nachbarschaft Rauschpunkte werden entfernt ohne dass sie Einfluss auf die Nachbarschaft nimmt Kanten werden nicht beeinflusst 30 Medianfilter Eingabebild Ausgabebild

Bildvorverarbeitung 31 Medianfilter Bild mit RauschenBild nach Verwendung des Medianfilters

Segmentierung Motivation Phasen der digitalen Bildverarbeitung –Bildvorverarbeitung –Segmentierung –Merkmalsextraktion –Klassifikation –Anwendung in der Werkstoffprüfung Ausblick 32 EingabebildNegativ

Segmentierung Ist zuständig für die Trennung von Hintergrund und Objekt Ergebnis ist ein Binärbild Unterteilung in: –Kantenbasierte Segmentierung –Bereichswachstums- verfahren 33 Eingabebild mit hervorgehobener Blume

Kantenbasierte Segmentierung Verwendet Diskontinuitätskriterien Es kann zu Untersegmentierung kommen Eingabebild wird zeilen- oder spaltenweise betrachtet Die Graustufenwerte der Punktreihen werden als Funktionswerte interpretiert Anschließend ist eine Konturpunktverkettung notwendig Bereichswachstums- verfahren Verwendet Homogenitätskriterien Es kann zu Übersegmentierung kommen Unterschiedliche Methoden –Schwellenwertverfahren –Bereichswachstums- verfahren mit Startpunkt –Bereichswachstums- verfahren ohne Startpunkt 34 Segmentierung

Benötigt ein bimodales Histogramm Schwelle wird definiert Oft sind Histogramme nicht bimodal Grauwerte eines Objektes sowie des Hintergrund unterliegen oft einer Verteilungsfunktion –Bestimmung der optimalen Schwelle 35 Schwellenwertverfahren

Merkmalsextraktion Motivation Phasen der digitalen Bildverarbeitung –Bildvorverarbeitung –Segmentierung –Merkmalsextraktion –Klassifikation –Anwendung in der Werkstoffprüfung Ausblick 36 EingabebildNegativ

Merkmalsextraktion Benötigt Ergebnisse der Segmentierung Ermittelt in Bildern Merkmale von Objekten Mittels dieser Merkmale können später die Objekte klassifiziert werden Verschiedene Arten von Merkmalen gibt es: –Textur-Merkmale –Farbmerkmale –Geometrische Merkmale die Fläche der Umfang die Form der Geometrischer Schwerpunkt 37

Klassifikation Motivation Phasen der digitalen Bildverarbeitung –Bildvorverarbeitung –Segmentierung –Merkmalsextraktion –Klassifikation –Anwendung in der Werkstoffprüfung Ausblick 38 EingabebildNegativ

Klassifikation Ordnet Bildobjekte Klassen zu –Merkmale werden als Vektoren dargestellt –Nahe beieinander liegende Vektoren deuten auf ähnliche Vektoren hin  Hauptaufgabe ist zusammengehörige Vektoren zu identifizieren Wichtig ist die Auswahl signifikanter Merkmale zur Klassifikation –Mittelwert und Streuung sind einfache Beispiele, um die Signifikanz eines Merkmals zu bestimmen –Beispiel: Unterscheidung zwischen großen und kleinen Objekten Mittelwert der Fläche des kleinen Objektes ist 15 Pixel Mittelwert der Fläche des großen Objektes ist 50 Pixel Beide haben eine Streuung von +-5  So kann man deutlich unterscheiden welches Objekt groß oder klein ist 39

Klassifikation Motivation Phasen der digitalen Bildverarbeitung –Bildvorverarbeitung –Segmentierung –Merkmalsextraktion –Klassifikation –Anwendung in der Werkstoffprüfung Ausblick 40 EingabebildNegativ

Anwendung in der Werkstoffprüfung Bildvorverarbeitung –Kontrastverbesserung fällt weg –Geeigneter Glättungsfilter: Medianfilter Segmentierung –Bei der Aufgabe sind kantenbasierte Segmentierung und das Bereichswachstumsverfahren mit Startpunkten ungeeignet –Zwei geeignete Möglichkeiten 1.Schwellenwertverfahren mit anschließender speziellen Trennung durch ein Bereichswachstumsverfahren für Binärbilder 2.Bereichswachstumsverfahren ohne Startpunkte 41

Anwendung in der Werkstoffprüfung Merkmalsextraktion –Zur Problemstellung reicht es die Fläche, die Form und den geometrischen Schwerpunkt pro Punkt zu errechnen Klassifikation –Nicht unbedingt notwendig –Man muss lediglich unterscheiden ob es sich beim gefundenen Objekt um einen fluoreszierenden Punkt handelt oder nicht 42

Fazit und Ausblick Motivation Phasen der digitalen Bildverarbeitung –Bildvorverarbeitung –Segmentierung –Merkmalsextraktion –Klassifikation –Anwendung in der Werkstoffprüfung Ausblick 43 EingabebildNegativ

Ausblick –Neue Software für das Mess-System schreiben –Daten aus dem Mess-System auslesen –Position der fluoreszierenden Punkte im 3-dimensionalen Raum ermitteln –Bewegung der Punkte im 3-dimensionalen Raum nachvollziehen –Übergabe der errechneten Daten an eine bestehende, externe Software –Möglichst in Echtzeit (zur besseren Regelung) 44

Danke für Ihre Aufmerksamkeit! 45