Vorlesung Digitale Bildverarbeitung Sommersemester 2015

Präsentation zum Thema: "Vorlesung Digitale Bildverarbeitung Sommersemester 2015"—  Präsentation transkript:

1 Vorlesung Digitale Bildverarbeitung Sommersemester 2015
Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik

2 Vergleich von Binärbildern
Problem: kleinste Abweichungen können zu starken Änderungen im Ähnlichkeitsmaß führen Leichte Verschiebung Kleine Rotationen Verzerrungen Interessant ist außerdem der Abstand zum gesuchten Optimum

3 Vergleich von Binärbildern

4 Distanztransformation
Für einen Vergleich von Binärbildern kann die Distanztransformation genutzt werden Für alle Hintergrundpixel wird die minimale Distanz zu einem Vordergrundpixel berechnet Mögliche Distanzfunktionen: Euklidische Distanz Manhattan-Distanz (auch city block distance)

5 Distanztransformation
Nutzung morphologischer Operatoren Chamfer-Algorithmus Effizientes Verfahren Bestimmung der Distanz mittels zweier Masken und zweier Bilddurchläufe Masken zur Bestimmung der Manhattan-Distanz:

6 Chamfer-Algorithmus …

7 Chamfer-Matching Binäres Template: R
Vordergrundpixel des Templates: FG(R) Anzahl der Vordergrundpixel des Templates: K Binärbild: I Distanztransformation des Bildes: D Template wird über das Bild bewegt, die Werte der Distanzverteilung werden addiert Der beste Match liegt im Minimum von Q

8 Chamfer-Matching Es ergeben sich lokale Optima (das kann erwünscht oder unerwünscht sein)

9 Umgang mit Skalierung und Drehung
Beim Verschieben eines Templates werden Unterschiede in der Skalierung eines Objekts oder Drehungen eines Objekts nicht berücksichtigt Die Suche kann z.B. erweitert werden auf Templates mit unterschiedlicher Skalierung und auf rotierte Templates Hier sind aufgrund des hohen Rechenaufwandes aber Grenzen gesetzt

10 Zusammenfassung – Bildvergleich
Template-Matching Ähnlichkeitsmaße Summe der Differenzbeträge, Summe der quadratischen Abstände Maximaler Differenzbetrag Kreuzkorrelation, Normalisierte Kreuzkorrelation Kovarianz, Korrelationskoeffizient Vergleich von Binärbildern Distanztransformation Chamfer-Algorithmus Chamfer-Matching

11 Registrierung

12 Registrierung Bilder der selben Szene oder des selben Objekts
Aus unterschiedlichen Blickwinkeln Mit unterschiedlichen Aufnahmebedingungen aufgenommen Zu verschiedenen Zeitpunkten (Detektion von Änderungen)

13 Verschiedene Blickwinkel / Aufnahmepositionen

14 Verschiedene Blickwinkel / Aufnahmepositionen
Verschiedene Satellitenaufnahmen werden zu einer großen Aufnahme zusammengefügt (aka Stitching)

15 Verschiedene Modalitäten / Aufnahmenbedingungen
Überlagern von Bilddaten, die unterschiedliche Informationen liefern Zusammensetzen von Satellitenaufnahmen oder fotografischen Luftaufnahmen unterschiedlicher Aufnahme Überlagerung von Luft- und Satellitenaufnahmen mit Landkarten Vergleich von Patientendaten mit Daten anatomischer Atlanten Überlagern medizinischer Bilddaten verschiedener Aufnahmemodalitäten

16 Aufnahme zu verschiedenen Zeitpunkten
Detektion von Veränderungen über die Zeit Landnutzung Seeeisveränderungen Ölverschmutzungen, Ausbreitung Therapiekontrolle bei Tumoren Beobachtung eines Krankheitsverlaufs

17 (A) Dimensionalität 2D-2D Registrierung: Zusammensetzen von Fotografien, Satelliten- oder Luftaufnahmen für Landkarten 2D-3D-Registrierung: z.B: Röntgenbilder mit dreidimen- sionalen CT-Daten (oder Modellen) 3D-3D-Registrierung: dreidimensionale Datensätze: CT- MRT-Daten, verschiedene MRT-Sequenzen, Ultraschalldaten, …

18 (B) Basis der Registrierung
Extrinsische Marker Marker, die von außen z.B. am Patienten angebracht werden Intrinsisch Anatomische Landmarken / markante Punkte Automatisch bestimmte Landmarken (z.B. Eckpunkte, Konturpunkte mit extremer Krümmung, …) Oberflächen (Umrisse / Konturen von Objekten) Pixel- / voxelbasiert (Grauwerte, Bildmerkmale)

19 (C) Transformationen Rigide Transformation (starre Transformation, nur Verschiebung und Rotation) Affine Transformation (parallele Linien bilden sich auf parallele Linien ab) Projektive Transformation (Linien bilden sich auf Linien ab) Elastische Transformation

20 (D) Benutzer Interaktion
Vollautomatisch (nur die Bilddaten werden an das System gegeben) Benutzergesteuert (der Benutzer registriert die Daten manuell und wird nur durch Visualisierung oder Angezeigte Fehlermaße unterstützt) Semiautomatisch = halbautomatisch Die meisten Verfahren erfordern noch die ein oder andere Benutzerinteraktion z.B.: Markieren korrespondierender Punkte, Regionen Markieren relevanter Bereiche (z.B. des richtigen Wirbels) Initialisierung der Registrierung (grobe Vorregistrierung, setzen der Startposition)

21 (E) Optimierungsstrategie
Bestimmung der besten Parameter der Transformation Alle Möglichkeiten testen (in der Regel zu aufwändig) Direkt berechnen (nur möglich z.B. bei einer geringen Zahl von Punkten) Z.B. anhand von 2 Punkten: rigide Transformation + Skalierung Anhand von 3 Punkten: Affine Abbildung Anhand von 4 Punkten: Projektive Abbildung Optimierungsverfahren Gradientenbasiert (Gradientenabstiegsverfahren, Konjugierte Gradienten, BFGS, Levenberg-Marquard, …) Evolutionäre Verfahren

22 (F) Bildmodalitäten Modalitäten
Verschiedene medizinische Bilddaten (Ultraschall, CT, MRT, Röntgen, PET, SPECT, …) Fotografien Luftaufnahmen, Radaraufnahmen, Satellitenaufnahmen Monomodal: Registrierung von Bildern oder Volumina der selben Modalität Multimodal: Registrierung von Bildern oder Volumina unterschiedlicher Modalitäten (z.B. CT mit MRT oder Ultraschall mit CT … oder Satelliten- mit Luftaufnahmen, …)

23 Punktbasierte Registrierung

24 Registrierung von drei Punktpaaren
In beiden Bildern werden korrespondierende Punkte markiert Anhand dieser Punkte wird die Transformation berechnet

25 Rigide Registrierung Wie viele Punktpaare werden benötigt um eine rigide Registrierung eindeutig zu bestimmen? Zwei Punktpaare Verschiebung Rotation

26 Registrierung von zwei Punktpaaren
Welche Abbildung ist eindeutig bestimmt, wenn zwei Punktpaare exakt aufeinander abgebildet werden? Verschiebung Rotation Skalierung

27 Registrierung von einem Punktpaar
Welche Abbildung ist eindeutig bestimmt, wenn nur ein Punktpaar registriert wird? Verschiebung

28 Punktbasierte Registrierung
Exakte Bestimmung einer Transformation anhand von Punktpaaren Ein Punktpaar: Verschiebung Zwei Punktpaare: rigide Transformation + Skalierung Drei Punktpaare: affine Transformation Vier Punktpaare: projektive Transformation Vorteile: Einfache Verfahren Transformation kann exakt bestimmt werden Problem: Güte der Registrierung hängt vom Vorhandensein geeigneter Punkte und von der Güte der Punkte ab

29 Güte von Punktpaaren

30 Güte von Punktpaaren

31 Registrierung von n Punktpaaren
Um den Abbildungsfehler möglichst gering zu halten wird die Zahl der verwendeten Punkte erhöht Die Fehler, die durch die einzelnen Punkte entstehen sollen sich herausmitteln n Punkte können nicht exakt registriert werden Forderung: der Abbildungsfehler soll möglicht gering sein Gesucht ist diejenige Transformation T, die die geringsten Abweichungen bei der Abbildung von Punktpaaren ergibt

32 Registrierung von n Punktpaaren
Ziel: Minimierung der Distanzen zwischen den korrespondierenden Punkten Eine Fehlerfunktion E wird definiert z.B. als mittlere Abweichung der korrespondierenden Punkte nach Transformation oder als mittlere quadratische Abweichung : Punkte im zweiten Bild : Punkte im Originalbild

33 Optimierung Der Fehler kann für jeden Punkt im Parameterraum berechnet werden Der Parameterraum ist bei einer rigiden Registrierung im zweidimensionalen dreidimensional Parameterraum (nur vx und vy)

34 Gradientenbasierte Optimierung
Die Suche nach dem Optimum wird in einem Punkt gestartet Gradientenabstieg (im Bild hier Aufstieg) Der Gradient der Optimierungsfunktion wird in diesem Punkt bestimmt (entweder berechnet oder geschätzt durch kleine Variation der Parameter) Abhängig von der Gradientenrichtung und dem Betrag des Gradienten erfolgt ein Schritt im Parameterraum Parameterraum (nur vx und vy)

35 Vollautomatische Punktbasierte Bildregistrierung
Automatisch Punkte wählen? Punkte mit hohem Gradientenbetrag Automatisch Punkte zuordnen? NCC-Matching (Normalized-Cross-Correlation) SAD-Matching (Sum-of-Absolute-Differences) Transformation berechnen? Wähle nötige Anzahl Punkte für genaue Berechnung aus und verwende Punkte mit höchstem Matching-Wert Wähle mehr als die nötige Anzahl Punkte aus und minimiere den quadratischen Fehler Fehlzuordnungen? Ausreißer?

36 RANdom SAmple Consensus (RANSAC)
Bisher: Schätze rigide Transformation (Minimierung des quadratischen Abstands der Punkte): Lösung eines Minimierungsproblems hängt von allen Punkten ab (auch den wirklich schlechten)

37 RANdom SAmple Consensus (RANSAC)
Wähle zufällig genau so viele Punkte, wie für die Transformation gerade nötig sind (hier 2) Berechne die Transformation anhand der zufällig gewählten Punkte Bestimmte die Punkte, die diese Transformation tolerieren (Consensus Set)

38 RANdom SAmple Consensus (RANSAC)
Wähle zufällig genau so viele Punkte, wie für die Transformation gerade nötig sind (hier 2) Berechne die Transformation anhand der zufällig gewählten Punkte Bestimmte die Punkte, die diese Transformation tolerieren (Consensus Set)

39 RANdom SAmple Consensus (RANSAC)
Wiederhole das Ziehen und die Berechnung der Transformation eine feste Anzahl von Malen (je nach Anzahl der erwarteten Ausreißer) Wähle Transformation mit größter / bester Consensus Set Lösung eines Minimierungsproblems hängt nur von einem Anteil der Punkte ab

40 Bildbasierte Registrierung
Es sollen keine Landmarken detektiert werden müssen Die Registrierung arbeitet allein auf den Bildinhalten

41 Anwendung 1: Registrierung von CT- und MRT-Daten
Ziel: Es sollen CT- und MRT-Daten eines Patienten miteinander registriert werden Pluim, Maintz, Viergever: „Mutual information based registration of medical images: a survey“ (2003)

42 Anwendung 1: Registrierung von CT- und MRT-Daten
Idee: Strukturen stellen sich zwar durch ganz unterschiedliche Grauwerte dar, aber bestimmte Gewebetypen bilden sich jeweils auf einen bestimmten Grauwertbereich ab Das heißt, dass bei einer exakten Überlagerung bestimmte Grauwertpaare häufig vorkommen (z.B. Knochen im CT ist weiß, im MRT schwarz, usw. …)

43 Anwendung 1: Registrierung von CT- und MRT-Daten
Histogramm korrespondierender Grauwerte bei Überlagerung desselben MRT-Bildes (exakte Überlagerung und relative Rotation um 2, 5 und 10 Grad)

44 Anwendung 1: Registrierung von CT- und MRT-Daten
Histogramm korrespondierender Grauwerte bei Überlagerung von CT und MRT des Kopfes Grauwerte im CT Grauwerte im MRT

45 Anwendung 1: Registrierung von CT- und MRT-Daten
Entropie Entropie in der Physik Maß der Unordnung Entropie in der Informationstheorie Shannon Entropie : Wahrscheinlichkeit für ein Ereignis (z.B. das Auftreten eines Zeichens oder in der Bildverarbeitung das Auftreten eines Grauwerts) : Anzahl der verschiedenen Ereignisse (Anzahl der möglichen Zeichen bzw. Grauwerte)

46 Anwendung 1: Registrierung von CT- und MRT-Daten
Shannon Entropie für ein Bild / einen Bildausschnitt Maß für die Grauwertverteilung Kann aus dem Histogramm bestimmt werden Absolute Grauwerte spielen keine Rolle Nur die Anzahl verschiedener Grauwerte und deren Häufigkeit spielen eine Rolle Bei Gleichverteilung aller auftretender Grauwerte ist die Entropie maximal

47 Anwendung 1: Registrierung von CT- und MRT-Daten
Entropie Kreuzentropie Wenn jeder Grauwert im CT einen festen korrespondierenden Grauwert im MRT hat, dann ist die Entropie der gemeinsamen Verteilung minimal Das Maß hat den Nachteil, dass es sehr klein werden kann, bei geringer Überlappung der Bilder (z.B. Überlapp nur im Hintergrund)

48 Anwendung 1: Registrierung von CT- und MRT-Daten
Ein besseres Maß ist daher die Mutual information (mutual engl.: beiderseits, gegenseitig) Ein geringer Überlapp wird dadurch bestraft, dass die Entropien der Einzelbilder sehr gering sind, wenn diese nur aus Hintergrund bestehen Maß dafür, wie viel Information ein Bild über ein anderes liefert

49 Anwendung 1: Registrierung von CT- und MRT-Daten

50 Anwendung 1: Registrierung von CT- und MRT-Daten
Vorteil: Die gesamte Bildinformation geht in die Registrierung ein, d.h. das Ergebnis ist nicht von einer Vorverarbeitung (Segmentierung) abhängig Nachteil: Sehr rechenintensiv

51 Anwendung 2: Kalibrierung einer Kamera
Ziel: Es soll die Transformation gefunden werden, mit der die Aufnahme einer beliebigen Kamera entzerrt wird Tamaki, Yamamur: „Correcting Distortion of Image by Image Registration“ (2002)

52 Anwendung 2: Kalibrierung einer Kamera – Erinnerung
dx z rmax r dy Tamaki, Yamamur: „Correcting Distortion of Image by Image Registration“ (2002)

53 Anwendung 2: Kalibrierung einer Kamera
Bei der Registrierung einer unkalibrierten Kamera wird folgendermaßen vorgegangen: Ein unverzerrtes Foto wird ausgedruckt und mit der unkalibrierten Kamera aufgenommen Dann werden die beiden Bilder miteinander registriert

54 Anwendung 2: Kalibrierung einer Kamera
Welche Transformation ist geeignet um diese Abbildung zu lösen? ??? Projektive Abbildung Radiale Verzerrung Unterschiede in der Beleuchtung

55 Anwendung 2: Kalibrierung einer Kamera
Welche Transformation ist geeignet um diese Abbildung zu lösen? Projektive Abbildung Radiale Verzerrung Unterschiede in der Beleuchtung

56 Anwendung 2: Kalibrierung einer Kamera
Welches Maß ist geeignet, um die Ähnlichkeit der Bilder bei Überlagerung zu beschreiben? ???

57 Anwendung 2: Kalibrierung einer Kamera
Welches Maß ist geeignet, um die Ähnlichkeit der Bilder bei Überlagerung zu beschreiben? Abs. Grauwertdifferenz? Norm. Kreuzkorrelationskoeffizient?

58 Anwendung 2: Kalibrierung einer Kamera
Die Transformation soll aus einer projektiven Abbildung kombiniert mit einer radialen Verzerrung bestehen Die projektive Abbildung wird durch 8 Parameter bestimmt Die radiale Verzerrung durch 5 Parameter

59 Anwendung 2: Kalibrierung einer Kamera
Die projektive Abbildung wird durch 8 Parameter bestimmt Die radiale Verzerrung durch 5 Parameter

60 Anwendung 2: Kalibrierung einer Kamera
Als Ähnlichkeitsmaß wird die Grauwertdifferenz verwendet, wobei ein Beleuchtungsunterschied berücksichtigt wird Sechs Parameter beschreiben die Beleuchtungskorrektur

61 Anwendung 2: Kalibrierung einer Kamera
Bei der Registrierung werden gleichzeitig die Parameter der Transformation und die der Beleuchtungskorrektur optimiert. Es werden also = 19 Parameter optimiert

62 Anwendung 2: Kalibrierung einer Kamera
Das Ergebnis liefert die Transformation und die Beleuchtungskorrektur Frage ans Plenum: Warum nimmt man nicht das Bild des Gitters? (Mitte unten)

63 Registrierung Bei einem Registrierproblem müssen Sie sich Gedanken machen über: Fehlermaß / Ähnlichkeitsmaß Transformation Optimierung

64 Zusammenfassung – Registrierung
Was ist Registrierung? Punktbasierte Registrierung Anwendungsbeispiele: Registrierung von CT- und MRT-Daten Ähnlichkeitsmaße: Kreuzkorrelation, Mutual Information Kalibrierung einer Kamera Ähnlichkeitsmaß Transformation Optimierung

65 Inhalt Crash-Course in Machine Learning Klassifikationsverfahren
Grundsätzliches K-Nearest-Neighbour-Klassifizierer (KNN) Linear Discriminant Analysis (LDA) Support Vector Machine (SVM)

66 Maschinelles Lernen: Klassifikation

67 Was ist maschinelles Lernen (Machine Learning)?
Nachbildung menschlicher Lern- und Verständnisleistungen Überwachtes Lernen (Supervised Learning) Unüberwachtes Lernen (Unsupervised Learning) Verstärkendes Lernen (Reinforcement Learning) Mischformen Vertiefende Vorlesungen Laurenz Wiskott: Machine Learning: Unsupervised Methods Tobias Glasmachers: Machine Learning: Supervised Methods Rolf Würtz: Artificial Neural Networks, Sehen in Mensch und Maschine

68 Was ist ein Klassifikator?
Regression vs. Klassifikation Regression versucht einen kontinuierlichen Wert zu erlernen (Lernen einer Funktionsvorschrift) Klassifikation versucht einen diskreten von endlich vielen Werten zu erlernen Regression kann über Einführung von Schwellen in Klassifikation umgewandelt werden Wert Klasse Klasse Bild zu Regression / Klassifikation Merkmal Merkmal Merkmal

69 Was ist ein Klassifikator?
Einteilung in Trainings- und Testphase Label aus 1, ..., k für jede der k möglichen Klassen Training (Daten, Label) Vorfahrt achten / Fahrtrichtichtung links / Gefahr Baustelle Klassifikator Gesicht / kein Gesicht Unterscheidung von n Klassen, Label = 1, ..., k Heimmannschaft / Auswärtsmannschaft / Torwart / Schiedsrichter Test (Daten, ?)

70 Was ist ein Klassifikator?
Im Rahmen dieser Vorlesung behandeln wir nur binäre Klassifikation, Label = 0 / 1 Training (Daten, Label) Vorfahrt achten / Fahrtrichtichtung links / Gefahr Baustelle Klassifikator Gesicht / kein Gesicht Unterscheidung von n Klassen, Label = 1, ..., k Heimmannschaft / Auswärtsmannschaft / Torwart / Schiedsrichter Test (Daten, ?)

71 Was ist ein Klassifikator?
Beim Training werden an Hand von bekannten Beispielen die Parameter des Klassifikators gewählt Der Klassifikator kann selbst mit optimalen Parametern noch Fehler auf der Testmenge machen Beispiele sind falsch gelabelt Modell der Klassifkators reicht nicht aus für die Trainingsmenge Die Merkmale erlauben keine genaue Trennung Anteil der falsch klassifizierten Beispiele heißt Trainingsfehler Beim Test wird an Hand von bekannten Beispielen die Performance des Klassifkators ermittelt Anteil der falsch klassifizierten Beispiele heißt Testfehler Unterscheidung von n Klassen, Label = 1, ..., k

72 Feature-Räume Zu klassifizierende Beispiele werden durch Charakteristika (Features) beschrieben Diese lassen sich durch Punkte in einem Vektorraum abstrahieren Wir betrachten bis auf Weiteres nur binäre Klassifikation (genau zwei Klassen)

73 Ein erster Klassifikator: K-Nearest-Neighbour
Idee: Merke Dir alle Beispiele aus dem Training Gib beim Test die Klasse des Trainingsbeispiels zurück, das am nächsten zum betrachteten liegt

74 Ein erster Klassifikator: K-Nearest-Neighbour
Idee: Merke Dir alle Beispiele aus dem Training Gib beim Test die Klasse des Trainingsbeispiels zurück, das am nächsten (im Feature-Raum) zum betrachteten liegt

75 Ein erster Klassifikator: K-Nearest-Neighbour
Merke Dir alle Beispiele aus dem Training Gib beim Test die Klasse DER MEHRHEIT DER K TRAININGSBEISPIELE zurück, die am nächsten zum betrachteten liegen Rechts die nachbarn hervorheben

76 Ein erster Klassifikator: K-Nearest-Neighbour
Merke Dir alle Beispiele aus dem Training Gib beim Test die Klasse DER MEHRHEIT DER K TRAININGSBEISPIELE zurück, die am nächsten zum betrachteten liegen Rechts die nachbarn hervorheben

77 Datentreue vs. Generalisierung
Wie sollte man k wählen? Je höher k ist, desto rauschunempfindlicher sollte die Klassifizierung sein. => bessere Performance Je höher k ist, desto größer ist der Bereich des Feature-Raums, aus dem die Beispiele stammen. => schlechtere Performance k zu klein => Overfitting (Überanpassung) k zu groß => Underfitting (Unteranpassung) Overfitting, trainings- und testmenge, neue Folie: Trainings- und Testfehler

78 KNN – Hallo, wach! Was sind Vor- und Nachteile des KNN-Klassifikators?

79 KNN – Hallo, wach! Was sind Vor- und Nachteile des KNN-Klassifikators?
Einfach Training ist schnell (bzw. nicht nötig) Test ist langsam Bessere Datenstrukturen: Angepasste Suchbäume Clustern der Trainingsmenge zu Prototypen In der Praxis sind die Ergebnisse brauchbar Später Hallo-Wach-Folie: Vergleich LDA, KNN

80 Linear Discriminant Analysis (LDA)
Idee: Stelle Menge der Beispiele einer Klasse durch parametrisierte Verteilung dar Mehrdimensionale Normalverteilung ist parametrisiert durch Mittelwert und Kovarianzmatrix

81 Linear Discriminant Analysis (LDA)
Idee: Stelle Menge der Beispiele einer Klasse durch parametrisierte Verteilung dar Mehrdimensionale Normalverteilung ist parametrisiert durch Mittelwert und Kovarianzmatrix

82 Linear Discriminant Analysis (LDA)
Mathematische Einfachheit durch Annahme gleicher Kovarianz Es existiert dann eine Trennebene

83 Linear Discriminant Analysis (LDA)
Mathematische Einfachheit durch Annahme gleicher Kovarianz Es existiert dann eine Trennebene

84 Linear Discriminant Analysis (LDA)
Gleichsetzen um Trennebene zu finden

85 Linear Discriminant Analysis (LDA)
Gleichsetzen um Trennebene zu finden

86 Linear Discriminant Analysis (LDA)
Gleichsetzen um Trennebene zu finden

87 Linear Discriminant Analysis (LDA)
Gleichsetzen um Trennebene zu finden

88 Linear Discriminant Analysis (LDA)
Gleichsetzen um Trennebene zu finden

89 Linear Discriminant Analysis (LDA)
Gleichsetzen um Trennebene zu finden Gemeinsame Kovarianzmatrix Mache Daten Mittelwertfrei

90 Linear Discriminant Analysis (LDA)
Linearer Klassifizierer Lesbar (hohe Werte in stehen für wichtige Features) Einfach Schnell

91 Einfaches Beispiel Training Hatten wir vorher schon so ähnlich

92 LDA – Hallo, wach! Was sind die Vor- und Nachteile des LDA?

93 LDA – Hallo, wach! Was sind die Vor- und Nachteile des LDA? Einfach
Training schnell In der Praxis gute Ergebnisse Gute Generalisierung durch starke Modellannahmen Abhängig von Wahl der Features (dazu später mehr) In manchen Fällen ungeeignet

94 LDA – Hallo, wach! Was sind Unterschiede zwischen LDA und KNN?

95 LDA – Hallo, wach! Was sind Unterschiede zwischen LDA und KNN? KNN LDA
kein Training Keine Modellannahmen Gute Datentreue Langsamer Test Teils gute Generalisierung LDA Schnelles Training Starke Modellannahmen Linearer Klassifikator (schnell) Teils gute Generalisierung

96 Machine Learning – Hallo, wach!
Wie sieht ein linearer Klassifikator aus, wenn man nur ein Feature hat?

97 Machine Learning – Hallo, wach!
Wie sieht ein linearer Klassifikator aus, wenn man nur ein Feature hat? x Formel für eindimensionale Schwelle angeben

98 Machine Learning – Hallo, wach!
Wie sieht ein linearer Klassifikator aus, wenn man nur ein Feature hat? x Formel für eindimensionale Schwelle angeben

99 Linear Discriminant Analysis (LDA)
Reicht ein linearer Klassifikator immer aus? x

100 Linear Discriminant Analysis (LDA)
Reicht ein linearer Klassifikator immer aus? x2 x x

101 Dimension des Feature-Raums
Dimension => Komplexität des Klassifikators Komplexität vs. Generalisierung Trainings-Performance vs. Test-Performance Um in einem Feature-Raum hoher Dimension zu lernen, benötigt man viele Trainings- Beispiele. Neue Folie(n): je größer der Feature-Raum, desto größer muss die Trainingsmenge werden