“The whole is greater than the sum of its parts.” Max Wertheimer

Präsentation zum Thema: "“The whole is greater than the sum of its parts.” Max Wertheimer"—  Präsentation transkript:

1 “The whole is greater than the sum of its parts.” Max Wertheimer
10 Segmentierung “The whole is greater than the sum of its parts.” Max Wertheimer

2 Inhalt Einführung Segmentierung Bildverarbeitungssystem Kantenbasiert
Kantendetektion Konturverfolgung Modellbasiert Hough – Transformation Pixelorientiert Regionenbasiert Region Growing Split & Merge Wasserscheide

3 Einführung Ziel Unterscheidung von „Teilbildern/Inhalte“
Automatische Klassifikation jedes Inhalts Beispiele Medien – Schrifterkennung Biometrie – Erkennung von Personen Produktionsanlagen – Identifizierung von Teilen Medizin – Identifizierung von Zellen/Gewebe Umwelt – Auswertung von Luftaufnahmen

4 Beispiele

5 Einführung Segmentierung Zusammenfassen von Punkten zu größeren Einheiten Unterteilung des Bildes in „zusammenhängende“ Bereiche, Bildsegmente Klassifizierung Zuweisung von Bereichen in „Objektklassen“ Segmentierung ist der erste Schritt der erkennenden Bildverarbeitung Segmentierung ist eines der komplexesten Kapitel der Bildverarbeitung !

6 Schritte der Bildverarbeitung

7 Bildverarbeitungssystem
Stufen eines Bildverarbeitungssystems Bilderfassung Bildvorverarbeitung Segmentierung Merkmalsextraktion Klassifikation

8 1: Bilderfassung Objekte werden mit Sensorik erfasst
Nur erfasste Eigenschaften können ausgewertet werden

9 2: Bildvorverarbeitung
Bildmodifikation, welche den Informationsgehalt nicht bedeutend ändert Beispiele: Beleuchtungskorrekturen Rauschreduzierung Kontrasterhöhung Größenanpassung

10 3: Segmentierung Gegeben Bild B mit Bildpunkten f1,...,fn
Gesucht Regionen Ri für die gilt:

11 4: Merkmalsextraktion Merkmale beschreiben Eigenschaften von Objekten
Einfache Merkmale Umschreibendes Rechteck Mittlerer Intensität Flächeninhalt Schwerpunkt Umfang Abgeleitete Merkmale Kompaktheit Lage, Orientierung

12 5: Klassifizierung Klassifizierung von Objekten anhand ihrer Merkmale
Notwendige Voraussetzung Merkmalsanalyse / Clustering des Merkmalraums Beispiel

13 6: Erfassung von Objekten
Einfache/Heuristische Vorgehensweise Durch a-priori-Wissen Segmente identifizieren / ausschließen Segmente kleiner N Pixel werden ignoriert Segmente außerhalb des Area-Of-Interest / Region-Of-Interest werden ignoriert Größenverhältnis Farbe

14 Segmentierung

15 Segmentierung Gegeben Bild B mit Bildpunkten f1,...,fn
Gesucht Regionen Ri für die gilt:

16 Strategien Diskontinuität Kanten Ähnlichkeit
Schwellwert („lose“ Punkte) Wachstumsverfahren (Regionen)

17 Segmentierung durch Detektion von Diskontinuitäten

18 Detektion von Diskontinuitäten
Detektion von scharfen, lokalen Änderungen der Bildintensität Kantenpunkte Kanten entstehen durch die Verbindung von Kantenpunkten

19 Detektion von Diskontinuitäten
Laplace: Punkte-Detektoren

20 Gradienten: Linien-Detektoren
Detektion von Linien Gradienten: Linien-Detektoren

21 Detektion von Linien Laplace Absolute Positive

22 Kantenbasierte Verfahren
Kanten entsprechen häufig den Konturen der gesuchten Objekte Im Gegensatz zu punktbasierten Verfahren werden die gesuchten Objekte nicht als Fläche, sondern als Umrandung extrahiert Verarbeitungsschritte Hochpaß Konturverfolgung Konturverdünnung / Skelettierung / Thinning Bestimmung der umrandeten Gebiete

23 Kantentypen

24 Kantentypen

25 Reele Kanten

26 Kantenextraktion Extremum Nulldurchgang Bild Profil einer
horizontalen Linie Erste Ableitung Extremum Zweite Ableitung Nulldurchgang

27 Kantenextraktion Berechnung der Ableitung in jedem Pixel:
Ableitungsfilter 1. Ordnung (Roberts) Ableitungsfilter mit einfacher Mittelwertbildung (Prewitt, Sobel) Ableitungsfilter 2. Ordnung (Laplace) Ableitungsbilder werden (mittels Schwellwert) binarisiert

28 Kantenextraktion Ableitungsfilter 1er Ordnung (Gradienten):
Linienfilter „Dicke” Linien Nicht sehr rauschempfindlich Ableitungsfilter 2er Ordnung (Laplace): Punktefilter „Dünne“ Linien Rauschempfindlich

29 Beispiele A B C D A: Original B: Prewitt C: Sobel D: Laplace

30 Einfluß von Rauschen 1. Ableitung 2. Ableitung Rauschfrei Var = 0.1

31 LoG Operator („Mexican hat“)

32 LoG Operator („Mexican hat“)
Tiefpaß & Laplace Zero crossing 4% Schwelle Zero crossing

33 Kantendetektion Sobel LoG Schwellwert Zero Cross

34 Konturverfolgung: Canny
Ziel Binärbild mit möglichst geschlossenen Konturen Einfaches Vorgehen Von Startpunkt aus wird der nächste Konturpunkt entlang eines Suchstrahls identifiziert Richtung ergibt sich aus bereits erhaltenen Punkten oder dem Gradienten Nachteil Einmalige Fehlberechnung führt zu falscher Kontur

35 Vorgehen Tiefpaß mit Gauß Kernel
Berechne Gradienten M und Senkrechte a „Verdünne“ Gradienten, Unterdrücke lokale Minima: Unterteile alle Kanten in 4 Hauptrichtungen (N-S, O-W, NO-SW, NW-SO) Ordne a zu einer Hauptrichtung Falls Gradient M kleiner als einer der Nachbargradienten entlang der Hauptrichtung, Stopp Definiere zwei Schwellen Thigh und Tlow (~3:1) Thigh Punkte werden sofort als „Kantenpunkte“ definiert Prüfe Konvektivität Verbinde Thigh Punkte über andere Thigh oder Tlow Punkte

36 Orientierung der Normale

37 Suchrichtung senkrecht zum Gradienten
Konturverfolgung Objekt Gradient f(x,y) (Grauwert) Kante y Hintergrund x Suchrichtung senkrecht zum Gradienten

38 Gradient vs. LoG vs. Canny

39 Gradient vs. LoG vs. Canny

40 Hough Transformation Ziel: „Globale“ Linienerkennung
Transformiert das Segmentierungsproblem im Bildraum in ein Finden von lokalen Maxima („Punkte“) im Parameterraum Man habe n Punkte vorsegmentiert Suche Submengen dieser Punkte, welche auf Geraden liegen

41 Hough Transformation Im Parameterraum wird jeder Punkt des Bildraums durch eine Gerade abgebildet Punkte, die auf einer Gerade liegen, schneiden sich an einer Stelle (Fächern) Bildraum Parameterraum Hough-Raum

42 Hough Transformation Für einen beliebigen Punkt (xi, yi) im Bild gilt:
yi = axi + b Es gibt unendlich viele a & b, welche die Gleichung erfüllen b = -xia + yi in der ab Ebene alle a & b liegen auf einer Gerade Die ab-Geraden von ko-linearen Punkten schneiden sich!

43 Geraden Detektion Finde alle Kanten im Bild (= Hochpaß, Menge von Punkten) Unterteile den Parameterraum in Zellen Für jeden detektierten Punkt (xk, yk) im Bild: Setze ai zu einem Zellenwert aus i = (imin, imax ) Löse bi = -xkai + yk und finde bi Inkrementiere entsprechende (ai, bi) Zelle

44 Hough Transformation Bildraum Akkumulator Parameter- raum y x d k 1 2
3 6 7 8 5 4 Bildraum Akkumulator x d 1 2 3 6 7 8 5 4 8 1 2 3 4 5 6 Parameter- raum 7 6 5 4 3 2 1 k

45 Hough Transformation Hessesche Normalenform:
Parameter (Radon Transformation) x y ´ p´

46 Hough Transformation Punkte im Bildraum bilden sich auf Sinus-Kurven im Parameterraum ab Alle Sinus-Kurven ko-linearer Punkte schneiden sich an einer Stelle

47 Hough Transformation

48 Hough Transformation

49 Hough Transformation

50 Hough Transformation

51 Hough Transformation Kantenbild Original Ergebnis Hough-Raum

52 Hough Transformation

53 Hough Transformation Verhalten Robust gegenüber unterbrochenen Linien:
Wert wird zwar verringert, lokales Maximum bleibt Bei verrauschten Linien: Cluster mit hohen Werten anstatt diskretes Maximum

54 Hough Transformation

55 Segmentierung durch Detektion von Ähnlichkeiten

56 Schwellwertverfahren
Global: T fester Grauwert Dynamisch/adaptiv: T hängt von der Position innerhalb des Bildes ab Lokal: T hängt von den lokalen Grautönen ab (z.B. lokalen Mittelwert)

57 Verfahren Schwellwertverfahren Bereichswachstum Split-and-merge
Wasserscheide

58 Punktorientierte Segmentierung
Einfacher Schwellwert T (Threshold) = Segmentierung aufgrund der Grauwertinformation

59 Multi-modale Histogramme

60 Punktorientierte Segmentierung

61 Punktorientierte Segmentierung
3 1 2

62 Rauscheneinfluß Var = 10 Var = 50

63 Rauschentfernung & Schwellwert

64 Rauschentfernung in kleinen Regionen

65 Gradient & lokale Histogramme

66 Beleuchtungseinfluß

67 Beleuchtungseinfluß Erweiterung auf multimodale Histogramme

68 Beleuchtungseinfluß

69 Adaptives Schwellwertverfahren

70 Adaptives Schwellwertverfahren

71 Adaptives Schwellwertverfahren

72 Adaptives Schwellwertverfahren

73 Adaptives Schwellwertverfahren

74 Lokaler Schwellwert

75 Regionenbasierte Verfahren
Ziel Aufteilung des Bildes in Zonen maximaler Homogenität (Grauwert, Farbe, etc.) Verfahren Bottom up: Region Growing Top Down: Split & Merge Vorteil Information über Nachbarschaft Robuster bei verrauschten Bildern

76 Region Growing Ausgehend von n-Ursprungspixel (Saatzellen, seed points) werden andere Pixel, die ein Homogenitätskriterium erfüllen, aggregiert R1 R2 R3

77 Parameter Anzahl & Position der Startpunkte Homogenitätskriterium
Intensität Farbe Statistiken, Textur Stopp Regelung Lokale Kriterien: Grauton/Farbe, Textur Regionsgröße und –Form (Addaptive) Ähnlichkeit zu der Region

78 Region Growing Setzen von n Seed Points (Initiale Regionen) - Zufällig - Aufgrund von Beurteilung des Bildinhalts Untersuchung der 4 (oder 8)-Nachbarschaft Fall1: Punkt gehört zu keiner Region & H.-Krit. erfüllt Zuordnung zur Region Fall2: Punkt gehört zu keiner Region & H.-Krit. nicht erfüllt Keine Zuordnung Fall3: Punkt gehört bereits zu einer anderen Region & Homogenitätskriterium erfüllt Regionen werden vereinigt Fall4: Punkt gehört bereits zu einer anderen Region & Homogenitätskriterium nicht erfüllt Keine Vereinigung Wiederhole 1 und 2 bis keine Änderungen mehr eintreten

79 Originalbild Segmentiertes Bild
Region Growing Originalbild Segmentiertes Bild

80 Region Growing Seeds: Maximum Grautöne DG < 255, 8-connected

81 Region Growing Problem Wahl der Seed Points
Wahl des Homogenitätskriteriums Formulierung des Stop-Kriteriums Vorteile Einfache Erweiterbarkeit auf 3D Eleganteste Lösung multimodaler Historgamme Nachteile Unterschiedliche Seed Points können zu vollständig anderen Segmentierungen führen Anzahl der Regionen muß vorher festgelegt werden

82 Split & Merge Unterteilung und Verbindung von Bereichen in Quadrate entsprechend einem Homogenitäts-kriterium. Beispiele für Homogenitätskriterium: Grau-/Farbwerte identisch/ähnlich Grau-/Farbwerte im gleichen Intervall Grau-/Farbwerte ähnlich verteilt (Momentum, Textur)

83 Split & Merge Split Region Ri, wenn: P(Ri)=false
Merge angrenzende und homo-gene Regionen Ri und Rj, wenn: P(RiRj)=true Rekursionen beendet, wenn kein weiteres Unterteilen / Vereinigen mehr möglich ist

84 Split & Merge 1 2 00 02 01 03 30 32 33 310 311 312 314 Quadtree 1 2 00 01 02 03 30 32 33 310 311 312 313

85 Merge Split Gefahr von „Overgrowing“ – zu viele Regionen
„Undergrowing“ – zu wenige Regionen

86 Split & Merge Eliminierung von kleinen Regionen infolge Overgrowing:
Suche die kleinste / eine kleine Region Ri Finde die benachbarte Region Rn zu der Ri unter Berücksichtigung des Homogenitätskriteriums am besten paßt und vereinige diese Diese Schritte werden so lange wiederholt, bis alle Regionen eine vorgegebene Mindestgröße besitzen

87 Split & Merge 32 ² 16² 8²

88 Wasserscheide Segmentierung

89 Wasserscheide Segmentierung

90 Damm Konstruktion Finde letzten Schritt vor Vereinigung M1 und M2
Finde vereinigte Menge q Dilatiere M1 und M2: Strukturelement platziert nur in q Keine Dilatation an Stellen, welche M1 und M2 vereinigen Damm sind die übrig gebliebenen Pixel innerhalb von q

91 Wasserscheide Segmentierung auf Gradientenbild

92 Über-Segmentierung der Gradientenbilder

93 Marker Konstruktion Tiefpaßfilterung
Vereine Nachbarpunkte gleichen Grautons = seeds Wasserscheide auf den Seeds => Unterteilung des Gesamtbildes in „Zellen“ Gradient des Gesamtbildes Wasserscheide lokal in jeder „Zelle“

94 Marker-Boundaries

95 Markers Größe Form Position Orientierung Relative Abstände Textur
Berücksichtigung von a-priori „Wissen“ oder „Kontext“ über das Bild Größe Form Position Orientierung Relative Abstände Textur etc. etc.

96 Wissen Berücksichtigung

97 Modellbasiertes Segmentieren
Berücksichtigung von a priori Informationen über Art und Aussehen der zu segmentierenden Objekte Mensch besitzt ein „Modell“ des Objektes im Kopf, das Segmentieren vereinfacht: Die Kreisausschnitte werden zu durchgehenden Strecken ergänzt