Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik

Vergleich von Binärbildern Problem: kleinste Abweichungen können zu starken Änderungen im Ähnlichkeitsmaß führen Leichte Verschiebung Kleine Rotationen Verzerrungen Interessant ist außerdem der Abstand zum gesuchten Optimum

Vergleich von Binärbildern

Distanztransformation Für einen Vergleich von Binärbildern kann die Distanztransformation genutzt werden Für alle Hintergrundpixel wird die minimale Distanz zu einem Vordergrundpixel berechnet Mögliche Distanzfunktionen: Euklidische Distanz Manhattan-Distanz (auch city block distance)

Distanztransformation Nutzung morphologischer Operatoren Chamfer-Algorithmus Effizientes Verfahren Bestimmung der Distanz mittels zweier Masken und zweier Bilddurchläufe Masken zur Bestimmung der Manhattan-Distanz:

Chamfer-Algorithmus …

Chamfer-Matching Binäres Template: R Vordergrundpixel des Templates: FG(R) Anzahl der Vordergrundpixel des Templates: K Binärbild: I Distanztransformation des Bildes: D Template wird über das Bild bewegt, die Werte der Distanzverteilung werden addiert Der beste Match liegt im Minimum von Q

Chamfer-Matching Es ergeben sich lokale Optima (das kann erwünscht oder unerwünscht sein)

Umgang mit Skalierung und Drehung Beim Verschieben eines Templates werden Unterschiede in der Skalierung eines Objekts oder Drehungen eines Objekts nicht berücksichtigt Die Suche kann z.B. erweitert werden auf Templates mit unterschiedlicher Skalierung und auf rotierte Templates Hier sind aufgrund des hohen Rechenaufwandes aber Grenzen gesetzt

Zusammenfassung – Bildvergleich Template-Matching Ähnlichkeitsmaße Summe der Differenzbeträge, Summe der quadratischen Abstände Maximaler Differenzbetrag Kreuzkorrelation, Normalisierte Kreuzkorrelation Kovarianz, Korrelationskoeffizient Vergleich von Binärbildern Distanztransformation Chamfer-Algorithmus Chamfer-Matching

Registrierung

Registrierung Bilder der selben Szene oder des selben Objekts Aus unterschiedlichen Blickwinkeln Mit unterschiedlichen Aufnahmebedingungen aufgenommen Zu verschiedenen Zeitpunkten (Detektion von Änderungen)

Verschiedene Blickwinkel / Aufnahmepositionen

Verschiedene Blickwinkel / Aufnahmepositionen Verschiedene Satellitenaufnahmen werden zu einer großen Aufnahme zusammengefügt (aka Stitching)

Verschiedene Modalitäten / Aufnahmenbedingungen Überlagern von Bilddaten, die unterschiedliche Informationen liefern Zusammensetzen von Satellitenaufnahmen oder fotografischen Luftaufnahmen unterschiedlicher Aufnahme Überlagerung von Luft- und Satellitenaufnahmen mit Landkarten Vergleich von Patientendaten mit Daten anatomischer Atlanten Überlagern medizinischer Bilddaten verschiedener Aufnahmemodalitäten

Aufnahme zu verschiedenen Zeitpunkten Detektion von Veränderungen über die Zeit Landnutzung Seeeisveränderungen Ölverschmutzungen, Ausbreitung Therapiekontrolle bei Tumoren Beobachtung eines Krankheitsverlaufs

(A) Dimensionalität 2D-2D Registrierung: Zusammensetzen von Fotografien, Satelliten- oder Luftaufnahmen für Landkarten 2D-3D-Registrierung: z.B: Röntgenbilder mit dreidimen- sionalen CT-Daten (oder Modellen) 3D-3D-Registrierung: dreidimensionale Datensätze: CT- MRT-Daten, verschiedene MRT-Sequenzen, Ultraschalldaten, …

(B) Basis der Registrierung Extrinsische Marker Marker, die von außen z.B. am Patienten angebracht werden Intrinsisch Anatomische Landmarken / markante Punkte Automatisch bestimmte Landmarken (z.B. Eckpunkte, Konturpunkte mit extremer Krümmung, …) Oberflächen (Umrisse / Konturen von Objekten) Pixel- / voxelbasiert (Grauwerte, Bildmerkmale)

(C) Transformationen Rigide Transformation (starre Transformation, nur Verschiebung und Rotation) Affine Transformation (parallele Linien bilden sich auf parallele Linien ab) Projektive Transformation (Linien bilden sich auf Linien ab) Elastische Transformation

(D) Benutzer Interaktion Vollautomatisch (nur die Bilddaten werden an das System gegeben) Benutzergesteuert (der Benutzer registriert die Daten manuell und wird nur durch Visualisierung oder Angezeigte Fehlermaße unterstützt) Semiautomatisch = halbautomatisch Die meisten Verfahren erfordern noch die ein oder andere Benutzerinteraktion z.B.: Markieren korrespondierender Punkte, Regionen Markieren relevanter Bereiche (z.B. des richtigen Wirbels) Initialisierung der Registrierung (grobe Vorregistrierung, setzen der Startposition)

(E) Optimierungsstrategie Bestimmung der besten Parameter der Transformation Alle Möglichkeiten testen (in der Regel zu aufwändig) Direkt berechnen (nur möglich z.B. bei einer geringen Zahl von Punkten) Z.B. anhand von 2 Punkten: rigide Transformation + Skalierung Anhand von 3 Punkten: Affine Abbildung Anhand von 4 Punkten: Projektive Abbildung Optimierungsverfahren Gradientenbasiert (Gradientenabstiegsverfahren, Konjugierte Gradienten, BFGS, Levenberg-Marquard, …) Evolutionäre Verfahren

(F) Bildmodalitäten Modalitäten Verschiedene medizinische Bilddaten (Ultraschall, CT, MRT, Röntgen, PET, SPECT, …) Fotografien Luftaufnahmen, Radaraufnahmen, Satellitenaufnahmen Monomodal: Registrierung von Bildern oder Volumina der selben Modalität Multimodal: Registrierung von Bildern oder Volumina unterschiedlicher Modalitäten (z.B. CT mit MRT oder Ultraschall mit CT … oder Satelliten- mit Luftaufnahmen, …)

Punktbasierte Registrierung

Registrierung von drei Punktpaaren In beiden Bildern werden korrespondierende Punkte markiert Anhand dieser Punkte wird die Transformation berechnet

Rigide Registrierung Wie viele Punktpaare werden benötigt um eine rigide Registrierung eindeutig zu bestimmen? Zwei Punktpaare Verschiebung Rotation

Registrierung von zwei Punktpaaren Welche Abbildung ist eindeutig bestimmt, wenn zwei Punktpaare exakt aufeinander abgebildet werden? Verschiebung Rotation Skalierung

Registrierung von einem Punktpaar Welche Abbildung ist eindeutig bestimmt, wenn nur ein Punktpaar registriert wird? Verschiebung

Punktbasierte Registrierung Exakte Bestimmung einer Transformation anhand von Punktpaaren Ein Punktpaar: Verschiebung Zwei Punktpaare: rigide Transformation + Skalierung Drei Punktpaare: affine Transformation Vier Punktpaare: projektive Transformation Vorteile: Einfache Verfahren Transformation kann exakt bestimmt werden Problem: Güte der Registrierung hängt vom Vorhandensein geeigneter Punkte und von der Güte der Punkte ab

Güte von Punktpaaren

Güte von Punktpaaren

Registrierung von n Punktpaaren Um den Abbildungsfehler möglichst gering zu halten wird die Zahl der verwendeten Punkte erhöht Die Fehler, die durch die einzelnen Punkte entstehen sollen sich herausmitteln n Punkte können nicht exakt registriert werden Forderung: der Abbildungsfehler soll möglicht gering sein Gesucht ist diejenige Transformation T, die die geringsten Abweichungen bei der Abbildung von Punktpaaren ergibt

Registrierung von n Punktpaaren Ziel: Minimierung der Distanzen zwischen den korrespondierenden Punkten Eine Fehlerfunktion E wird definiert z.B. als mittlere Abweichung der korrespondierenden Punkte nach Transformation oder als mittlere quadratische Abweichung : Punkte im zweiten Bild : Punkte im Originalbild

Optimierung Der Fehler kann für jeden Punkt im Parameterraum berechnet werden Der Parameterraum ist bei einer rigiden Registrierung im zweidimensionalen dreidimensional Parameterraum (nur vx und vy)

Gradientenbasierte Optimierung Die Suche nach dem Optimum wird in einem Punkt gestartet Gradientenabstieg (im Bild hier Aufstieg) Der Gradient der Optimierungsfunktion wird in diesem Punkt bestimmt (entweder berechnet oder geschätzt durch kleine Variation der Parameter) Abhängig von der Gradientenrichtung und dem Betrag des Gradienten erfolgt ein Schritt im Parameterraum Parameterraum (nur vx und vy)

Vollautomatische Punktbasierte Bildregistrierung Automatisch Punkte wählen? Punkte mit hohem Gradientenbetrag Automatisch Punkte zuordnen? NCC-Matching (Normalized-Cross-Correlation) SAD-Matching (Sum-of-Absolute-Differences) Transformation berechnen? Wähle nötige Anzahl Punkte für genaue Berechnung aus und verwende Punkte mit höchstem Matching-Wert Wähle mehr als die nötige Anzahl Punkte aus und minimiere den quadratischen Fehler Fehlzuordnungen? Ausreißer?

RANdom SAmple Consensus (RANSAC) Bisher: Schätze rigide Transformation (Minimierung des quadratischen Abstands der Punkte): Lösung eines Minimierungsproblems hängt von allen Punkten ab (auch den wirklich schlechten)

RANdom SAmple Consensus (RANSAC) Wähle zufällig genau so viele Punkte, wie für die Transformation gerade nötig sind (hier 2) Berechne die Transformation anhand der zufällig gewählten Punkte Bestimmte die Punkte, die diese Transformation tolerieren (Consensus Set)

RANdom SAmple Consensus (RANSAC) Wähle zufällig genau so viele Punkte, wie für die Transformation gerade nötig sind (hier 2) Berechne die Transformation anhand der zufällig gewählten Punkte Bestimmte die Punkte, die diese Transformation tolerieren (Consensus Set)

RANdom SAmple Consensus (RANSAC) Wiederhole das Ziehen und die Berechnung der Transformation eine feste Anzahl von Malen (je nach Anzahl der erwarteten Ausreißer) Wähle Transformation mit größter / bester Consensus Set Lösung eines Minimierungsproblems hängt nur von einem Anteil der Punkte ab

Bildbasierte Registrierung Es sollen keine Landmarken detektiert werden müssen Die Registrierung arbeitet allein auf den Bildinhalten

Anwendung 1: Registrierung von CT- und MRT-Daten Ziel: Es sollen CT- und MRT-Daten eines Patienten miteinander registriert werden Pluim, Maintz, Viergever: „Mutual information based registration of medical images: a survey“ (2003)

Anwendung 1: Registrierung von CT- und MRT-Daten Idee: Strukturen stellen sich zwar durch ganz unterschiedliche Grauwerte dar, aber bestimmte Gewebetypen bilden sich jeweils auf einen bestimmten Grauwertbereich ab Das heißt, dass bei einer exakten Überlagerung bestimmte Grauwertpaare häufig vorkommen (z.B. Knochen im CT ist weiß, im MRT schwarz, usw. …)

Anwendung 1: Registrierung von CT- und MRT-Daten Histogramm korrespondierender Grauwerte bei Überlagerung desselben MRT-Bildes (exakte Überlagerung und relative Rotation um 2, 5 und 10 Grad)

Anwendung 1: Registrierung von CT- und MRT-Daten Histogramm korrespondierender Grauwerte bei Überlagerung von CT und MRT des Kopfes Grauwerte im CT Grauwerte im MRT

Anwendung 1: Registrierung von CT- und MRT-Daten Entropie Entropie in der Physik Maß der Unordnung Entropie in der Informationstheorie Shannon Entropie : Wahrscheinlichkeit für ein Ereignis (z.B. das Auftreten eines Zeichens oder in der Bildverarbeitung das Auftreten eines Grauwerts) : Anzahl der verschiedenen Ereignisse (Anzahl der möglichen Zeichen bzw. Grauwerte)

Anwendung 1: Registrierung von CT- und MRT-Daten Shannon Entropie für ein Bild / einen Bildausschnitt Maß für die Grauwertverteilung Kann aus dem Histogramm bestimmt werden Absolute Grauwerte spielen keine Rolle Nur die Anzahl verschiedener Grauwerte und deren Häufigkeit spielen eine Rolle Bei Gleichverteilung aller auftretender Grauwerte ist die Entropie maximal

Anwendung 1: Registrierung von CT- und MRT-Daten Entropie Kreuzentropie Wenn jeder Grauwert im CT einen festen korrespondierenden Grauwert im MRT hat, dann ist die Entropie der gemeinsamen Verteilung minimal Das Maß hat den Nachteil, dass es sehr klein werden kann, bei geringer Überlappung der Bilder (z.B. Überlapp nur im Hintergrund)

Anwendung 1: Registrierung von CT- und MRT-Daten Ein besseres Maß ist daher die Mutual information (mutual engl.: beiderseits, gegenseitig) Ein geringer Überlapp wird dadurch bestraft, dass die Entropien der Einzelbilder sehr gering sind, wenn diese nur aus Hintergrund bestehen Maß dafür, wie viel Information ein Bild über ein anderes liefert

Anwendung 1: Registrierung von CT- und MRT-Daten

Anwendung 1: Registrierung von CT- und MRT-Daten Vorteil: Die gesamte Bildinformation geht in die Registrierung ein, d.h. das Ergebnis ist nicht von einer Vorverarbeitung (Segmentierung) abhängig Nachteil: Sehr rechenintensiv

Anwendung 2: Kalibrierung einer Kamera Ziel: Es soll die Transformation gefunden werden, mit der die Aufnahme einer beliebigen Kamera entzerrt wird Tamaki, Yamamur: „Correcting Distortion of Image by Image Registration“ (2002)

Anwendung 2: Kalibrierung einer Kamera – Erinnerung dx z rmax r dy Tamaki, Yamamur: „Correcting Distortion of Image by Image Registration“ (2002)

Anwendung 2: Kalibrierung einer Kamera Bei der Registrierung einer unkalibrierten Kamera wird folgendermaßen vorgegangen: Ein unverzerrtes Foto wird ausgedruckt und mit der unkalibrierten Kamera aufgenommen Dann werden die beiden Bilder miteinander registriert

Anwendung 2: Kalibrierung einer Kamera Welche Transformation ist geeignet um diese Abbildung zu lösen? ??? Projektive Abbildung Radiale Verzerrung Unterschiede in der Beleuchtung

Anwendung 2: Kalibrierung einer Kamera Welche Transformation ist geeignet um diese Abbildung zu lösen? Projektive Abbildung Radiale Verzerrung Unterschiede in der Beleuchtung

Anwendung 2: Kalibrierung einer Kamera Welches Maß ist geeignet, um die Ähnlichkeit der Bilder bei Überlagerung zu beschreiben? ???

Anwendung 2: Kalibrierung einer Kamera Welches Maß ist geeignet, um die Ähnlichkeit der Bilder bei Überlagerung zu beschreiben? Abs. Grauwertdifferenz? Norm. Kreuzkorrelationskoeffizient?

Anwendung 2: Kalibrierung einer Kamera Die Transformation soll aus einer projektiven Abbildung kombiniert mit einer radialen Verzerrung bestehen Die projektive Abbildung wird durch 8 Parameter bestimmt Die radiale Verzerrung durch 5 Parameter

Anwendung 2: Kalibrierung einer Kamera Die projektive Abbildung wird durch 8 Parameter bestimmt Die radiale Verzerrung durch 5 Parameter

Anwendung 2: Kalibrierung einer Kamera Als Ähnlichkeitsmaß wird die Grauwertdifferenz verwendet, wobei ein Beleuchtungsunterschied berücksichtigt wird Sechs Parameter beschreiben die Beleuchtungskorrektur

Anwendung 2: Kalibrierung einer Kamera Bei der Registrierung werden gleichzeitig die Parameter der Transformation und die der Beleuchtungskorrektur optimiert. Es werden also 8 + 5 + 6 = 19 Parameter optimiert

Anwendung 2: Kalibrierung einer Kamera Das Ergebnis liefert die Transformation und die Beleuchtungskorrektur Frage ans Plenum: Warum nimmt man nicht das Bild des Gitters? (Mitte unten)

Registrierung Bei einem Registrierproblem müssen Sie sich Gedanken machen über: Fehlermaß / Ähnlichkeitsmaß Transformation Optimierung

Zusammenfassung – Registrierung Was ist Registrierung? Punktbasierte Registrierung Anwendungsbeispiele: Registrierung von CT- und MRT-Daten Ähnlichkeitsmaße: Kreuzkorrelation, Mutual Information Kalibrierung einer Kamera Ähnlichkeitsmaß Transformation Optimierung

Inhalt Crash-Course in Machine Learning Klassifikationsverfahren Grundsätzliches K-Nearest-Neighbour-Klassifizierer (KNN) Linear Discriminant Analysis (LDA) Support Vector Machine (SVM)

Maschinelles Lernen: Klassifikation

Was ist maschinelles Lernen (Machine Learning)? Nachbildung menschlicher Lern- und Verständnisleistungen Überwachtes Lernen (Supervised Learning) Unüberwachtes Lernen (Unsupervised Learning) Verstärkendes Lernen (Reinforcement Learning) Mischformen Vertiefende Vorlesungen Laurenz Wiskott: Machine Learning: Unsupervised Methods Tobias Glasmachers: Machine Learning: Supervised Methods Rolf Würtz: Artificial Neural Networks, Sehen in Mensch und Maschine

Was ist ein Klassifikator? Regression vs. Klassifikation Regression versucht einen kontinuierlichen Wert zu erlernen (Lernen einer Funktionsvorschrift) Klassifikation versucht einen diskreten von endlich vielen Werten zu erlernen Regression kann über Einführung von Schwellen in Klassifikation umgewandelt werden Wert Klasse Klasse Bild zu Regression / Klassifikation Merkmal Merkmal Merkmal

Was ist ein Klassifikator? Einteilung in Trainings- und Testphase Label aus 1, ..., k für jede der k möglichen Klassen Training (Daten, Label) Vorfahrt achten / Fahrtrichtichtung links / Gefahr Baustelle Klassifikator Gesicht / kein Gesicht Unterscheidung von n Klassen, Label = 1, ..., k Heimmannschaft / Auswärtsmannschaft / Torwart / Schiedsrichter Test (Daten, ?)

Was ist ein Klassifikator? Im Rahmen dieser Vorlesung behandeln wir nur binäre Klassifikation, Label = 0 / 1 Training (Daten, Label) Vorfahrt achten / Fahrtrichtichtung links / Gefahr Baustelle Klassifikator Gesicht / kein Gesicht Unterscheidung von n Klassen, Label = 1, ..., k Heimmannschaft / Auswärtsmannschaft / Torwart / Schiedsrichter Test (Daten, ?)

Was ist ein Klassifikator? Beim Training werden an Hand von bekannten Beispielen die Parameter des Klassifikators gewählt Der Klassifikator kann selbst mit optimalen Parametern noch Fehler auf der Testmenge machen Beispiele sind falsch gelabelt Modell der Klassifkators reicht nicht aus für die Trainingsmenge Die Merkmale erlauben keine genaue Trennung Anteil der falsch klassifizierten Beispiele heißt Trainingsfehler Beim Test wird an Hand von bekannten Beispielen die Performance des Klassifkators ermittelt Anteil der falsch klassifizierten Beispiele heißt Testfehler Unterscheidung von n Klassen, Label = 1, ..., k

Feature-Räume Zu klassifizierende Beispiele werden durch Charakteristika (Features) beschrieben Diese lassen sich durch Punkte in einem Vektorraum abstrahieren Wir betrachten bis auf Weiteres nur binäre Klassifikation (genau zwei Klassen)

Ein erster Klassifikator: K-Nearest-Neighbour Idee: Merke Dir alle Beispiele aus dem Training Gib beim Test die Klasse des Trainingsbeispiels zurück, das am nächsten zum betrachteten liegt

Ein erster Klassifikator: K-Nearest-Neighbour Idee: Merke Dir alle Beispiele aus dem Training Gib beim Test die Klasse des Trainingsbeispiels zurück, das am nächsten (im Feature-Raum) zum betrachteten liegt

Ein erster Klassifikator: K-Nearest-Neighbour Merke Dir alle Beispiele aus dem Training Gib beim Test die Klasse DER MEHRHEIT DER K TRAININGSBEISPIELE zurück, die am nächsten zum betrachteten liegen Rechts die nachbarn hervorheben

Ein erster Klassifikator: K-Nearest-Neighbour Merke Dir alle Beispiele aus dem Training Gib beim Test die Klasse DER MEHRHEIT DER K TRAININGSBEISPIELE zurück, die am nächsten zum betrachteten liegen Rechts die nachbarn hervorheben

Datentreue vs. Generalisierung Wie sollte man k wählen? Je höher k ist, desto rauschunempfindlicher sollte die Klassifizierung sein. => bessere Performance Je höher k ist, desto größer ist der Bereich des Feature-Raums, aus dem die Beispiele stammen. => schlechtere Performance k zu klein => Overfitting (Überanpassung) k zu groß => Underfitting (Unteranpassung) Overfitting, trainings- und testmenge, neue Folie: Trainings- und Testfehler

KNN – Hallo, wach! Was sind Vor- und Nachteile des KNN-Klassifikators?

KNN – Hallo, wach! Was sind Vor- und Nachteile des KNN-Klassifikators? Einfach Training ist schnell (bzw. nicht nötig) Test ist langsam Bessere Datenstrukturen: Angepasste Suchbäume Clustern der Trainingsmenge zu Prototypen In der Praxis sind die Ergebnisse brauchbar Später Hallo-Wach-Folie: Vergleich LDA, KNN

Linear Discriminant Analysis (LDA) Idee: Stelle Menge der Beispiele einer Klasse durch parametrisierte Verteilung dar Mehrdimensionale Normalverteilung ist parametrisiert durch Mittelwert und Kovarianzmatrix

Linear Discriminant Analysis (LDA) Idee: Stelle Menge der Beispiele einer Klasse durch parametrisierte Verteilung dar Mehrdimensionale Normalverteilung ist parametrisiert durch Mittelwert und Kovarianzmatrix

Linear Discriminant Analysis (LDA) Mathematische Einfachheit durch Annahme gleicher Kovarianz Es existiert dann eine Trennebene

Linear Discriminant Analysis (LDA) Mathematische Einfachheit durch Annahme gleicher Kovarianz Es existiert dann eine Trennebene

Linear Discriminant Analysis (LDA) Gleichsetzen um Trennebene zu finden

Linear Discriminant Analysis (LDA) Gleichsetzen um Trennebene zu finden

Linear Discriminant Analysis (LDA) Gleichsetzen um Trennebene zu finden

Linear Discriminant Analysis (LDA) Gleichsetzen um Trennebene zu finden

Linear Discriminant Analysis (LDA) Gleichsetzen um Trennebene zu finden

Linear Discriminant Analysis (LDA) Gleichsetzen um Trennebene zu finden Gemeinsame Kovarianzmatrix Mache Daten Mittelwertfrei

Linear Discriminant Analysis (LDA) Linearer Klassifizierer Lesbar (hohe Werte in stehen für wichtige Features) Einfach Schnell

Einfaches Beispiel Training Hatten wir vorher schon so ähnlich

LDA – Hallo, wach! Was sind die Vor- und Nachteile des LDA?

LDA – Hallo, wach! Was sind die Vor- und Nachteile des LDA? Einfach Training schnell In der Praxis gute Ergebnisse Gute Generalisierung durch starke Modellannahmen Abhängig von Wahl der Features (dazu später mehr) In manchen Fällen ungeeignet

LDA – Hallo, wach! Was sind Unterschiede zwischen LDA und KNN?

LDA – Hallo, wach! Was sind Unterschiede zwischen LDA und KNN? KNN LDA kein Training Keine Modellannahmen Gute Datentreue Langsamer Test Teils gute Generalisierung LDA Schnelles Training Starke Modellannahmen Linearer Klassifikator (schnell) Teils gute Generalisierung

Machine Learning – Hallo, wach! Wie sieht ein linearer Klassifikator aus, wenn man nur ein Feature hat?

Machine Learning – Hallo, wach! Wie sieht ein linearer Klassifikator aus, wenn man nur ein Feature hat? x Formel für eindimensionale Schwelle angeben

Machine Learning – Hallo, wach! Wie sieht ein linearer Klassifikator aus, wenn man nur ein Feature hat? x Formel für eindimensionale Schwelle angeben

Linear Discriminant Analysis (LDA) Reicht ein linearer Klassifikator immer aus? x

Linear Discriminant Analysis (LDA) Reicht ein linearer Klassifikator immer aus? x2 x x

Dimension des Feature-Raums Dimension => Komplexität des Klassifikators Komplexität vs. Generalisierung Trainings-Performance vs. Test-Performance Um in einem Feature-Raum hoher Dimension zu lernen, benötigt man viele Trainings- Beispiele. Neue Folie(n): je größer der Feature-Raum, desto größer muss die Trainingsmenge werden