Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Vorlesung "Intelligente Systeme" 1 0. Intelligente Systeme – Beispiele und Fähigkeiten Benötigte Technologien  Analysator Erkennung  Kategorisierung,

Ähnliche Präsentationen


Präsentation zum Thema: "Vorlesung "Intelligente Systeme" 1 0. Intelligente Systeme – Beispiele und Fähigkeiten Benötigte Technologien  Analysator Erkennung  Kategorisierung,"—  Präsentation transkript:

1 Vorlesung "Intelligente Systeme" 1 0. Intelligente Systeme – Beispiele und Fähigkeiten Benötigte Technologien  Analysator Erkennung  Kategorisierung, Klassifikation, Kategorienbildung: Abbildung von Daten auf semantische Strukturen  Zusammenhangsfindung zwischen Daten Prognose  Zusammenhangsfindung zwischen jüngeren und älteren Daten aus aufgezeichneten Daten  Zusammenhang auf aktuelle und zukünftige Daten anwenden Lernfähigkeit  Anpassung an Änderungen Mustererkennung Data Mining Regression Maschinelles Lernen

2 Vorlesung "Intelligente Systeme" 2 0. Intelligente Systeme – Beispiele und Fähigkeiten Werkzeuge  Mustererkennung Klassifikatoren  Lineare Klassifikatoren  Künstliche Neuronale Netze  Support-Vektor-Maschinen  Hidden-Markov-Modelle  … Clustering-Verfahren  K-Means  Self-Organizing Maps  …

3 Vorlesung "Intelligente Systeme" 3 0. Intelligente Systeme – Beispiele und Fähigkeiten Werkzeuge  Merkmale Verdichtung  Hauptkomponenten-Transformation  Fourier-Transformation  … Auswahl  Receiver Operation Characteristics Curve  Kullback-Leiber  …  Regression  Lineare Regression  Neuronale Netze  Kernel (Support Vektor) Regression  Genetische Programmierung

4 Vorlesung "Intelligente Systeme" 4 1. Leistung von Erkennungssystemen Intelligenz Intelligenz (lat.: intelligentia = "Einsicht, Erkenntnisvermögen", intellegere = "verstehen") bezeichnet im weitesten Sinne die Fähigkeit zum Erkennen von Zusammenhängen und zum Finden von optimalen Problemlösungen. Künstliche Intelligenz (KI) Nachbildung menschlicher Intelligenzleistungen in Software. Technischer Einsatz in intelligenten Systemen. Anwendungsbereiche:  Optimierungsprobleme (Routenplanung, Netzwerke),  Umgang mit natürlicher Sprache (Spracherkennung, automatisches Übersetzen, Internet- Suchmaschinen),  Datenanalyse (Data Mining, Business Intelligence)  Umgang mit natürlichen Signalen (Bildverstehen und Mustererkennung).

5 Vorlesung "Intelligente Systeme" 5 Komponentenfähigkeiten  Analysator Erkennung Prognose Lernfähigkeit  Regelungs/Handlungssystem Optimierung Handlung/Aktion ableiten Regelung Adaptivität  Sensoren Kommunikation Ziel- system 1 Regelungs/ Handlungssystem 2 Analy- sator 4 Sensoren 3 Welt - Situations- information Abweichung Zielsetzung Aktionen Signale Daten 1. Leistung von Erkennungssystemen

6 Vorlesung "Intelligente Systeme" 6 Gesichtsdetektion 1. Leistung von Erkennungssystemen

7 Vorlesung "Intelligente Systeme" 7 Intelligente Systeme und deren Aufgabe Klasse w j Klasse w k Klasse w l Beschreibungs- (Zustands-)raum C Zugänglicher Musterraum P Beobachtungs- oder Meßraum F G j + j G k + k G l + l p3p3 p1p1 p2p2 p4p4 m1m1 m2m2 m3m3 Abbildung 1 Abbildung 2 Informationsgewinnung M+ M Erste Aufgabe eines intelligenten Systems: Informationsgewinnung 1. Leistung von Erkennungssystemen

8 Vorlesung "Intelligente Systeme" 8 p(x|s) s1s1 s2s2 x Intelligente Systeme und deren Aufgabe Erste Aufgabe eines intelligenten Systems: Informationsgewinnung Zustand Z1 do/ emit x:s1 Zustand Z3 do/ emit x:s3 Zustand Z2 do/ emit x:s2 x Stochstischer Prozess „Glücksräder“ Erkenner Zustand 1. Leistung von Erkennungssystemen

9 Vorlesung "Intelligente Systeme" 9 2. Ein Beispiel für Erkennungssysteme Nebenbemerkung Histogramm und Wahrscheinlichkeitsdichte Wahrscheinlichkeitsdichte: relative Häufigkeit pro Intervall Histogramm von x x Vorkommensanazahl (frequency) k Stichprobe mit 50 Versuchen Stichprobe: Führe N Versuche aus, miss jedes mal die Größe x. Histogramm: Teile die Größe x in Intervalle mit Breite  x. Zähle Anzahl in jedem Intervall. Trage die Anzahl gegen das Intervall auf xxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxx

10 Vorlesung "Intelligente Systeme" Ein Beispiel für Erkennungssysteme Nebenbemerkung Histogramm und Wahrscheinlichkeitsdichte Wahrscheinlichkeitsdichte  : relative Häufigkeit pro Intervall = (Vorkommensanzahl/Stichprobenumfang)/Intervallbreite = (k/N)/  x = relative Häufigkeit / Intervallbreite = h/  x Histogramm von x x Vorkommensanazahl (frequency) k Histogram von x x Wahrscheinlichkeitsdichte W-Dichte = (7/50) / 5 = 0.028

11 Vorlesung "Intelligente Systeme" Ein Beispiel für Erkennungssysteme Nebenbemerkung Histogramm und Wahrscheinlichkeitsdichte Histogramm von x x Wahrscheinlichkeitsdichte   Wahrscheinlichkeitsdichten x Balkenbreiten = 1 Mit zunehmender Stichprobengröße Balkenbreite immer kleiner, so dass im unendlichen Fall die Balkenbreite unendlich klein ist.

12 Vorlesung "Intelligente Systeme" Ein Beispiel für Erkennungssysteme Nebenbemerkung  Wahrscheinlichkeitsdichte Ist gleichbedeutend mit 0 0,5 1,0 1,5 2,0 0,10 0,05 0,00 x p(x)

13 Vorlesung "Intelligente Systeme" Ein Beispiel für Erkennungssysteme Nebenbemerkung Wahrscheinlichkeitsdichte ergibt

14 Vorlesung "Intelligente Systeme" Ein Beispiel für Erkennungssysteme Nebenbemerkung Körpergröße nach Einkommen (D, über 18a)

15 Vorlesung "Intelligente Systeme" Ein Beispiel für Erkennungssysteme Nebenbemerkung Körpergröße nach Geschlecht (D, über 18a) GrößeFM <150 cm0,6%0,1% cm4%0,1% cm12,7%0,3% cm27%2,3% cm29,1%9% cm17,6%19,2% cm6,9%26,1% cm1,8%23,9% cm0,2%12,8% >190 cm<0,1%6,3%

16 Vorlesung "Intelligente Systeme" Ein Beispiel für Erkennungssysteme Nebenbemerkung Körpergröße nach Bundesland (D, über 18a)

17 Vorlesung "Intelligente Systeme" Statistische Fundamente Bayes´sche Entscheidungstheorie Wie treffe ich die optimale Entscheidung bei unvollständiger Information ?  A-priori-Wahrscheinlichkeiten Ein betrachtetes System befindet sich in einem “wahren Zustand” c, z.B. c=c 1 (normal) oder c=c 2 (Zündaussetzer). Diese können sich zufällig abwechseln und treten mit den Wahrscheinlichkeiten P(c 1 ) und P(c 2 ) auf: A-priori-Wahrscheinlichkeiten. P(c 1 ) + P(c 2 ) =1, wenn keine weiteren Zustände. Fall 1: Keine weitere Information als P(c 1 ) und P(c 2 ) -> Entscheidungsregel über nächsten Zustand: c 1, wenn P(c 1 ) > P(c 2 ), sonst c 2.

18 Vorlesung "Intelligente Systeme" Statistische Fundamente Bayes´sche Entscheidungstheorie Wie treffe ich die optimale Entscheidung bei unvollständiger Information ?  Verbund-Wahrscheinlichkeiten und bedingte Wahrscheinlichkeiten Zusatzinformation: B ist aufgetreten. Wahrscheinlichkeit von A, wenn B aufgetreten ist: bedingt Beispiel: P(1,70m < h < 1,80m | Frau) = 0,2, P(Frau) = P(Mann) = 0,5 P(1,70m < h < 1,80m, Frau) = 0,2 * 0,5 = 0,1 Verbund-Wahrscheinlichkeit P(A,B) von A und B ist Wahrscheinlichkeit, dass A und B gleichzeitig auftreten. Bedingte Wahrscheinlichkeit P(A|B) ist Wahrscheinlichkeit, dass A auftritt unter der Bedingung, dass B aufgetreten ist. Gilt auch für Wahrscheinlichkeitsdichten B ist fest! A ist fest!

19 Vorlesung "Intelligente Systeme" Statistische Fundamente Bayes´sche Entscheidungstheorie Wie treffe ich die optimale Entscheidung bei unvollständiger Information ?  Verbund-Wahrscheinlichkeiten und bedingte Wahrscheinlichkeiten Verbund-Wahrscheinlichkeit P(A,B) von A und B ist Wahrscheinlichkeit, dass A und B gleichzeitig auftreten. Größe, bezüglich derer Dichte berechnet wird, muss variabel sein. Daher lautet Verbundwahrscheinlichkeitsdichte B ist fest! A ist fest! ist fest!

20 Vorlesung "Intelligente Systeme" Statistische Fundamente Bayes´sche Entscheidungstheorie Wie treffe ich die optimale Entscheidung bei unvollständiger Information ?  Wahrscheinlichkeitsdichte 0 0,5 1,0 1,5 2,0 0,10 0,05 0,00 x p(x) x variabel

21 Vorlesung "Intelligente Systeme" Statistische Fundamente Bayes´sche Entscheidungstheorie Wie treffe ich die optimale Entscheidung bei unvollständiger Information ?  Klassenbedingte Wahrscheinlichkeitsdichtefunktion p(x|c) Information x über das System (z.B. das Drehmoment M 4 ) mit verschiedenen Ausprägungen in verschiedenen Zuständen (Klassen) c. Klassenbedingte Wahrscheinlichkeitsdichtefunktion p(x|c). Fall 2: Wir verfügen über weitere Information x. p(x|c) c1c1 c2c2 x Wahrscheinlichkeitsdichte für das Vorliegen eines Wertes des Merkmals x, wenn das System in Zustand c ist. Die Fläche unter der Kurve ist jeweils 1. Graphik aus Duda, Hart, Stork: Pattern Classification 2nd edition,  Wiley-Interscience

22 Vorlesung "Intelligente Systeme" Statistische Fundamente Bayes´sche Entscheidungstheorie Wie treffe ich die optimale Entscheidung bei unvollständiger Information ? Fall 2: Wir verfügen über weitere Information x, also die Wahrscheinlichkeitsdichtefunktionen p(x|c i ) für die verschiedenen Klassen und den aktuellen Wert von Merkmal x unseres Systems sowie die A-priori-Wahrscheinlichkeiten der Klassen P(c i ). Dann ist die verknüpfte Wahrscheinlichkeitsdichte, dass das System in Zustand c i ist und dabei den Merkmalswert x hat: p(c i,x) = P(c i |x)p(x) = p(x|c i )P(c i ). Von Interesse P(c i |x). Mittels Bayes´scher Formel Wahrscheinlichkeitsdichte von Merkmal x Wahrscheinlichkeit für Klasse c i unter der Bedingung, dass ein Wert x vorliegt Wahrscheinlichkeitsdichte von Merkmal x, unter der Bed., dass Klasse c i vorliegt Wahrscheinlichkeit für Klasse c i

23 Vorlesung "Intelligente Systeme" Statistische Fundamente Bayes´sche Entscheidungstheorie A posteriori Wahrscheinlichkeit, dass Klasse c i vorliegt, wenn das Merkmal die Ausprägung x hat: p(x|c) c1c1 c2c2 x P(c|x) c1c1 c2c2 P(c 1 ) = 1/3 P(c 2 ) = 2/3 Likelihood Prior Evidence x Posterior Graphik aus Duda, Hart, Stork: Pattern Classification 2nd edition,  Wiley-Interscience

24 Vorlesung "Intelligente Systeme" Statistische Fundamente Bayes´sche Entscheidungstheorie Wie treffe ich die optimale Entscheidung bei unvollständiger Information ? Fall 2: Entscheide c 1 wenn P(c 1 |x) > P(c 2 |x), sonst c 2. P(c|x) c1c1 c2c2 x P(c 1 |x=14)=0.08 P(c 2 |x=14)=0.92 c1c1 c2c2 c1c1 c2c2

25 Vorlesung "Intelligente Systeme" 25 p(x|s) s1s1 s2s2 x 3. Statistische Fundamente Erkennungssysteme und deren Aufgabe Informationsgewinnung Zustand Z1 do/ emit x:s1 Zustand Z3 do/ emit x:s3 Zustand Z2 do/ emit x:s2 x Stochstischer Prozess „Glücksräder“ Erkenner Zustand

26 Vorlesung "Intelligente Systeme" Statistische Fundamente Mehr als ein Merkmal: Grundlagen Numerische Merkmale und Merkmalsvektor Ein Merkmal x Zwei Merkmale x 1 und x xxxxxxxxxxxxxxxx Ein-dimensionaler Merkmalsraum Merkmal x 1 Merkmal x 2 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x Stichprobe: Menge der Merkmals- ausprägungen Merkmal x Zwei-dimensionaler Merkmalsraum Skalare Vektoren

27 Vorlesung "Intelligente Systeme" 27 Merkmalsraum Bild von Objekten unterschiedlicher Größe und Form Maximale Abmessung l Formfaktor f x x x x x x x Merkmalsraum fifi lili * Meßraum: Grauwerte der Pixel eines Kamerasensors Merkmalsauswahl: Merkmalsvariable Formfaktor (f) und maximale Abmessung (l) xixi Jeder Merkmalsvektor x i = [f i, l i ] T repräsentiert ein Muster. Wegen der statistischen Prozesse bei der Musterentstehung und beim Meßprozess werden Merkmale als “random variables” und Merkmalsvektoren als “random vectors” betrachtet. 3. Statistische Fundamente Mehr als ein Merkmal: Grundlagen

28 Vorlesung "Intelligente Systeme" 28 Merkmalsraum Wahrscheinlichkeitsdichtefunktion 3. Statistische Fundamente Mehr als ein Merkmal: Dichte und Dichtefunktion Merkmal x 1 Merkmal x 2 Wahrsch. Merkmal x 1 Merkmal x 2 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x Stichprobe Dichte: relative Häufigkeit im Kästchen, geteilt durch Kästchenfläche

29 Vorlesung "Intelligente Systeme" 29 Merkmalsraum Wahrscheinlichkeitsdichtefunktion 3. Statistische Fundamente Mehr als ein Merkmal: Korrelation und Kovarianz Zwei unterschiedliche stochastische Größen (z.B. Merkmale) Maßzahl für montonen Zusammenhang zwischen wenn gleichsinniger Zusammenhang zw. wenn gegensinniger Zusammenhang zw. wenn kein Zusammenhang zw. Die Größe von K hängt von den Maßeinheiten von ab. Daher Invarianz durch Normierung mit Standardabweichung: Korrelation C

30 Vorlesung "Intelligente Systeme" 30 Merkmalsraum 3. Statistische Fundamente Mehr als ein Merkmal, mehrere Klassen Merkmal x 1 Merkmal x 2 Graphik aus Duda, Hart, Stork: Pattern Classification 2nd edition,  Wiley-Interscience

31 Vorlesung "Intelligente Systeme" 31 Merkmalsraum 3. Statistische Fundamente Mehr als ein Merkmal, mehrere Klassen Merkmal x 1 Merkmal x 2 Endliche Menge von Klassen {c 1,c 2,…,c C } mit zugehörigen Wahrscheinlichkeitsdichten Bayes Formel für a posteriori Wahrscheinlichkeit Entscheidungsregel: x 1T x 2T xTxT

32 Vorlesung "Intelligente Systeme" 32 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Merkmal x 1 Merkmal x 2 Entscheidungsregel: Entscheidungsflächen sind Grenzflächen zwischen den Regionen Teilt Merkmalsraum in Regionen R4R4 R3R3 R2R2 R1R1 x 1T x 2T xTxT

33 Vorlesung "Intelligente Systeme" 33 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Entscheidungsregel: Entscheidungsregel gilt auch für monotone Funktionen g (Entscheidungs- funktionen) von P: (konst. Nenner weglassen) (logarithmieren)

34 Vorlesung "Intelligente Systeme" 34 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Bei zwei Kategorien (Klassen) Entscheidungsregel Kann vereinfacht werden zu einer einzigen Entscheidungsfunktion deren Vorzeichen über die Klassenzugehörigkeit entscheidet: Bequeme Wahl von g:

35 Vorlesung "Intelligente Systeme" 35 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Modellfunktion für klassenbedingte Wahrscheinlichkeitsdichte: Normalverteilung Bisher ein-dimensional: Jetzt mehr-dimensional: Merkmal x 1 Merkmal x 2 Wahrsch.

36 Vorlesung "Intelligente Systeme" 36 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Normalverteilung Jetzt mehr-dimensional: Merkmal x 1 Merkmal x 2 Wahrsch.

37 Vorlesung "Intelligente Systeme" 37 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Beispiel: Annahme einer mehr-dimensionalen Normalverteilung Berechnung Schwerpunkt und Kovarianzmatrix aus Stichprobe Schwerpunkt der Verteilung Empirischer Schwerpunkt der Stichprobe

38 Vorlesung "Intelligente Systeme" 38 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Beispiel: Annahme einer mehr-dimensionalen Normalverteilung Berechnung empirischer Schwerpunkt und empirische Kovarianzmatrix aus Stichprobe Im Fall drei-dimensionaler Vektoren: Geschätzte Normalverteilung:

39 Vorlesung "Intelligente Systeme" 39 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Benötigt wird die Inverse der Kovarianzmatrix Analytische Matrix-Inversion z.B. mittels adjungierter Matrix Geschätzte Normalverteilung:

40 Vorlesung "Intelligente Systeme" 40 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Rekursive, numerische Schätzung des empirischen Schwerpunkts und der Inversen der Kovarianzmatrix aus Stichprobe durch Rekursion Geschätzte Normalverteilung: Aus: H.Burkhardt, Inst. F. Informatik, Uni Freiburg: Mustererkennung

41 Vorlesung "Intelligente Systeme" 41 Merkmalsraum 3. Statistische Fundamente Schätzung Varianz (unabh. tats. Verteilung) Quelle: Wikipedia

42 Vorlesung "Intelligente Systeme" 42 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Bei Normalverteilung wegen e-Funktion Wahl von ln-Entscheidungsfunktion: Entscheidungsfläche beim Zweiklassenproblem: ist quadratische Form. Für zwei-dimensionale Merkmalsvektoren

43 Vorlesung "Intelligente Systeme" 43 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Entscheidungsfläche beim Zweiklassenproblem: Zweiklassenproblem bei Normalverteilungen einfachster Fall: 1.Merkmale unkorreliert -> Kovarianzen (Nichtdiagonalelemente der Kovarianzmatrix) sind Null 2.Merkmalsvarianzen (Diagonalelemente der Kovarianzmatrix) für beide Klassen gleich 3.A-priori-Wahrscheinlichkeiten für beide Klassen gleich Mittelsenkrechte zwischen den Schwerpunkten

44 Vorlesung "Intelligente Systeme" 44 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Normalverteilung, 2 Kategorien Entscheidungsfunktionen: Lineare Entscheidungsfunktion: Entscheidungsfläche Hyperebene ein-dim. Merkm.-Raum zwei-dim. Merkm.-Raum drei-dim. Merkm.-Raum Graphik aus Duda, Hart, Stork: Pattern Classification 2nd edition,  Wiley-Interscience

45 Vorlesung "Intelligente Systeme" 45 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Normalverteilung, 2 Kategorien Entscheidungsfunktionen: Entscheidungsfunktion Entscheidungsflächen: Hyperquadriken Graphik aus Duda, Hart, Stork: Pattern Classification 2nd edition,  Wiley-Interscience

46 Vorlesung "Intelligente Systeme" 46 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Normalverteilung, 2 Kategorien Entscheidungsflächen: Hyperquadriken Ebenen Graphik aus Duda, Hart, Stork: Pattern Classification 2nd edition,  Wiley-Interscience

47 Vorlesung "Intelligente Systeme" 47 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Normalverteilung, 2 Kategorien Entscheidungsflächen: Hyperquadriken ParaboloideEllipsoide Graphik aus Duda, Hart, Stork: Pattern Classification 2nd edition,  Wiley-Interscience

48 Vorlesung "Intelligente Systeme" 48 Merkmalsraum 3. Statistische Fundamente Entscheidungsflächen und -funktionen Normalverteilung, 2 Kategorien Entscheidungsflächen: Hyperquadriken HyperboloideKugeln Graphik aus Duda, Hart, Stork: Pattern Classification 2nd edition,  Wiley-Interscience

49 Vorlesung "Intelligente Systeme" 49 Merkmalsraum 3. Statistische Fundamente Wie weiter? Voraussetzung bisher: A priori Wahrscheinlichkeiten und klassen-bedingte Wahrscheinlichkeitsdichten bekannt. Realität: Nur Stichproben gegeben. Ansätze: 1.Parametrische Techniken: Annahme bestimmter parametrisierter Wahrscheinlichkeitsdichtefunktionen und Schätzung der Parameterwerte anhand Stichprobe, Einsetzen in Bayes Framework. A) Maximum-Likelihood Schätzung B) Bayes Learning 2.Nicht-parametrische Techniken 3.Direkte Bestimmung der Parameter der Entscheidungsflächen anhand Stichprobe.

50 Vorlesung "Intelligente Systeme" 50 Merkmalsraum 3. Statistische Fundamente Wie weiter? Möglichkeit 1 bei gegebener Stichprobe: Schätzung der pdf und a-priori-Wahrsch. Aus Stichprobe: Bildung Histogramm, relative Häufigkeiten h(c i ) Modellbildung: Annahme einer Modellfunktionenklasse für klassenbedingte Wahrscheinlichkeitsdichte, z.B. Gaussfunktion Schätzung der Parameter der Funktion -> Instanz der Funktionenklasse, die das Histogramm am besten approximiert (Schätzfunktion der klassenbedingten Wahrscheinlichkeitsdichte): Anwendung Bayes: Benutze als Näherung für und relative Häufigk. H(c i ) für P(c i ) und wende Bayes´sche Entscheidungsregel an:

51 Vorlesung "Intelligente Systeme" 51 Merkmalsraum Geschätzte pdf und apw 3. Statistische Fundamente Wie weiter? Möglichkeit 1 bei gegebener Stichprobe: Schätzung der pdf und a-priori-Wahrsch. Merkmal x 1 Merkmal x 2 Wahrsch. Merkmal x 1 Merkmal x 2 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x Stichprobe Anwendung Bayes Entscheidungsregel: Entscheidungsfläche

52 Vorlesung "Intelligente Systeme" 52 Merkmalsraum 3. Statistische Fundamente Wie weiter? Möglichkeit 2 bei gegebener Stichprobe: Finde eine Entscheidungsfläche, welche die Stichprobenvektoren einer Klasse von denen der anderen Klassen trennt. Merkmal x 1 Merkmal x 2 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x

53 Vorlesung "Intelligente Systeme" Überwachte Methoden l h x x x x x x x Gerade Trennlinie Klasse 1 Klasse 2 * l h x x x x x x x Trennkurve Klasse 1 Klasse 2 x x x x x x x x x x x x x x Lineare Klassifikatoren Einschichtiges Perceptron Kleinste Quadrate Klass. Lineare Support Vektor Maschine Nichtlineare Klassifikatoren Mehrschicht-Perceptron logistisch polynom radiale Basisfunktionen Support-Vektor-Maschinen 4. Entscheidungsflächen und -funktionen

54 Vorlesung "Intelligente Systeme" Lineare Klassifikatoren Grundlagen Das Perzeptron Lineare Support Vektor Maschine Nicht-lineare Klassen und Mehrklassen-Ansatz Kleinste Quadrate lineare Klassifikatoren Stochastische Approximation und der LMS Algorithmus Schätzung mittels Quadratfehlersumme Mehrklassen-Verallgemeinerung

55 Vorlesung "Intelligente Systeme" 55 Grundlagen 5. Lineare Klassifikatoren

56 Vorlesung "Intelligente Systeme" 56 Der Merkmalsraum wird durch Hyperebenen aufgeteilt. Vorteil: Einfachheit und geringer Berechnungsaufwand. Nachteile: Zugrundeliegende statistische Verteilungen der Trainingsmuster werden nicht vollständig genutzt. Nur linear separierbare Klassen werden korrekt klassifiziert. Entscheidungs-Hyperebene: Eine Entscheidungs-Hyperebene teilt den Merkmalsraum in zwei Halbräume: Punkte (Vektoren) von Halbraum 1 Klasse 1 Punkte von Halbraum 2 Klasse 2. Beschreibung Hyperebene im N-dimensionalen Merkmalsraum (Vektoren x) durch Normalenvektor n = [n 1, n 2,..., n N ] T und senkrechter Abstand d zum Ursprung: HNF: n T x = d äquivalent Entscheidungs-Hyperebene definiert durch den Gewichtsvektor w = [w 1, w 2,..., w N ] T und w 0, bezeichnet als Schwellwert: g(x) = w T x + w 0 =! 0 Bestimme w und w 0 so, dass Merkmalsvektoren x verschiedener Klassen ein unterschiedliches Vorzeichen von g(x) ergeben. 5. Lineare Klassifikatoren

57 Vorlesung "Intelligente Systeme" 57 Zweidimensionaler Fall: Geometrie der Entscheidungs-Linie (-Hyperebene) Merkmalsraum x1x1 x2x2 d x z Das Vorzeichen von g(x) gibt die Klassenzugehörigkeit an. Wie werden die unbekannten Gewichtswerte w 1, w 2,..., w N und w 0 berechnet? 5. Lineare Klassifikatoren Entscheidungshyperebene Entscheidungsfunktion

58 Vorlesung "Intelligente Systeme" 58 Lineare Klassifikatoren Das Perzeptron  Die Perzeptron-Kostenfunktion  Der Perzeptron Algorithmus  Bemerkungen zum Perzeptron Algorithmus  Eine Variation des Perzeptron-Lernschemas  Arbeitsweise des Perzeptrons

59 Vorlesung "Intelligente Systeme" 59 Der Perzeptron Algorithmus Allgemeines Lösungsmuster: Gesucht: Lösung eines Problems Gegeben: Ein Lösungsraum (gebildet durch Menge möglicher Lösungen: Lösungskandidaten) Ein Kriterium, das die Lösung kennzeichnet. Mustervorgehen: Ordne jedem Lösungskandidaten einen Wert derart zu, dass der Wert am kleinsten ist, wenn das Kriterium erfüllt ist: “Kostenfunktion” Lösungssuche -> Minimumsuche Wende vorhandene Lösungsmuster zur Minimumsuche an. 5. Lineare Klassifikatoren

60 Vorlesung "Intelligente Systeme" 60 Der Perzeptron Algorithmus Annahme: Es liegen zwei Klassen c 1 and c 2 vor, die linear separierbar sind. Es existiert eine Entscheidungs-Hyperebene w x + w 0 = 0 derart, daß Umformulierung mit erweiterten N+1-dimensionalen Vektoren: x´  x, 1] T und w´  w, w 0 ] T ergibt Die Aufgabe wird als Minimierungsproblem der Perzeptron-Kostenfunktion formuliert. 5. Lineare Klassifikatoren

61 Vorlesung "Intelligente Systeme" 61 Der Perzeptron Algorithmus Gesucht: Gewichtsvektor und Schwellwert, die für alle Stichprobenvektoren erfüllen, bzw. Gegeben: Lösungsraum: Menge aller und bzw. Lösungskriterium: Menge der durch und falsch klassifizierten Stichprobenvektoren ist leer. Mustervorgehen: Wahl der Kostenfunktion 5. Lineare Klassifikatoren

62 Vorlesung "Intelligente Systeme" 62 Kostenfunktion (Anzahl Fehler)

63 Vorlesung "Intelligente Systeme" 63 Kostenfunktion (Perzeptron)

64 Vorlesung "Intelligente Systeme" 64 Kostenfunktion (quadratisch)

65 Vorlesung "Intelligente Systeme" 65 Die Perzeptron-Kostenfunktion Y sei diejenige Untermenge der Trainingsvektoren, welche durch die Hyperebene (definiert durch Gewichtsvektor w´) fehlklassifiziert werden. Die Variable  x wird so gewählt, dass  x = -1 wenn x  c 1 und  x = +1 wenn x  c 2. J ist dann stets positiv und wird dann Null, wenn Y eine leere Menge ist, d.h., wenn es keine Fehlklassifikation gibt. J ist stetig und stückweise linear. Nur wenn sich die Anzahl der fehlklassifizierten Vektoren ändert, gibt es eine Diskontituität. Für die Minimierung von J wird ein iteratives Schema ähnlich der Gradientenabstiegsmethode verwendet. 5. Lineare Klassifikatoren

66 Vorlesung "Intelligente Systeme" 66 Gradientenmethode für die Perzeptron-Kostenfunktion 5. Lineare Klassifikatoren Graphik aus Duda, Hart, Stork: Pattern Classification 2nd edition,  Wiley-Interscience Konvention (zur Reduktion des Schreibaufwandes): Erweiterte Vektoren ohne Strich

67 Vorlesung "Intelligente Systeme" 67 k: Iterationsindex,  k  Lernrate (positiv) Der Perzeptron-Algorithmus Iterative Anpassung des Gewichtsvektors entlang dem Gradienten der Kostenfunktion: (1) ist nicht definiert an Unstetigkeitsstellen von J. An allen Unstetigkeitsstellen von J gilt: Substitution der rechten Seite von (2) in (1) ergibt: (1) (2) wodurch der Perzeptron-Algorithmus an allen Punkten definiert ist. 5. Lineare Klassifikatoren

68 Vorlesung "Intelligente Systeme" 68 Geometrische Interpretation für den 2d Merkmalsraum w´(k) Trennlinie im Schritt k x1x1 x2x2 w´(k+1) Trennlinie im Schritt k+1 x´ w wurde in die Richtung von x gedreht.  bestimmt die Stärke der Drehung. Letzter Schritt des Perzeptron-Algorithmus: Nur noch ein einziger Punkt x fehlklassifiziert. 5. Lineare Klassifikatoren

69 Vorlesung "Intelligente Systeme" 69 Bemerkungen zum Perzeptron-Algorithmus 1. Der Perzeptron-Algorithmus konvergiert zu einer Lösung in einer endlichen Anzahl von Schritten, vorausgesetzt, daß die Folge  k richtig gewählt wird. Es kann gezeigt werden, dass dies der Fall ist, wenn gilt: Ein Beispiel einer Folge, welche obige Bedingung erfüllt, ist  k = c/k, da divergent für r Die Konvergenzgeschwindigkeit hängt von der Folge  k ab. 3. Die Lösung ist nicht eindeutig, da es immer eine Schar von Hyperebenen gibt, welche zwei linear separierbare Klassen trennt. 5. Lineare Klassifikatoren

70 Vorlesung "Intelligente Systeme" 70 Eine Variation des Perzepton Lernschemas Bisher: Gesamte Trainingsvektormenge in einem Trainingsschritt. Neu: Ein einziger Trainingsvektor in einem Trainingsschritt und Wiederholung für alle Vektoren der Trainingsmenge: “Trainingsepoche”. Die Trainingsepochen weden wiederholt, bis Konvergenz erreicht ist, d.h., wenn alle Trainingsvektoren korrekt klassifiziert werden. Dieses Schema ist Mitglied der “Belohnungs- und Bestrafungs-”Schemata. Es konvergiert ebenso in einer endlichen Anzahl von Iterationen. Wiederhole, bis Konvergenz erreicht ist { Wiederhole für alle Trainingsvektoren { } 5. Lineare Klassifikatoren

71 Vorlesung "Intelligente Systeme" 71 Perzeptronalgorithmus

72 Vorlesung "Intelligente Systeme" 72 Perzeptronalgorithmus

73 Vorlesung "Intelligente Systeme" 73 Perzeptronalgorithmus

74 Vorlesung "Intelligente Systeme" 74 Perzeptronalgorithmus

75 Vorlesung "Intelligente Systeme" 75 Der innere Teil kann mit c 1 =1 und c 2 =-1 geschrieben werden als: Wenn, dann Lineare Support Vektor Maschine Alternative Betrachtungsweise: Perzeptron-Algorithmus mit erweiterten Vektoren: Wiederhole, bis Konvergenz erreicht ist { Wiederhole für alle Trainingsvektoren { }

76 Vorlesung "Intelligente Systeme" 76 Wenn, dann Lineare Support Vektor Maschine Wiederhole, bis Konvergenz erreicht ist { Wiederhole für alle Trainingsvektoren { } } Die Lösung ist dann eine Linearkombination der Stichprobenvektoren Einsetzen in die Gleichung für die Entscheidungsebene ergibt und die Entscheidungsfunktion lautet dann Die Lern(update)-regel lautet dann im Perzeptron-Algorithmus entsprechend: Wenn, dann

77 Vorlesung "Intelligente Systeme" 77 Lineare Support Vektor Maschine x1x1 x2x2 x x x x x x x Klasse 1 Klasse z Zueinander parallele Ebenen, welche Vektoren beider Klassen trennen: Gleicher Normalenvektor, unterschiedliche Schwellwerte: oder Bestimmung von und so, dass der Abstand zwischen den parallelen Ebenen maximal wird, d.h. minimiere. d Nebenbedingung: korrekte Trennung der Vektoren der beiden Klassen: Maximaler Rand

78 Vorlesung "Intelligente Systeme" 78 Lineare Support Vektor Maschine Bestimmung von und so, dass der Abstand zwischen den parallelen Ebenen maximal wird, d.h. minimiere oder. Nebenbedingung: korrekte Trennung der Vektoren der beiden Klassen: Die Nebenbedingungen können vereinfacht werden: Mit den nummerischen Klassenlabeln c 1 =1 und c 2 =-1 erhalten wir schließlich die folgende Optimierungsaufgabe: Minimiere unter den Randbedingungen Lösung durch „Quadratische Programmierung“ Bibliotheken NameLizenzBeschreibung CVXOPTGLPSprache: C, Python; API: Python OpenOptBSDNumerisches Optimierungsframework in Python QuadProgGPL2Sprache: R, Algorithmus von Goldfarb und Idnani (1982, 1983)R Quadprog++GPLv3C++, Algorithmus von Goldfarb und Idnani (1982, 1983)

79 Vorlesung "Intelligente Systeme" 79 Minimiere unter den Randbedingungen Ansatz zur Quadratischen Programmierung: Lagrange-Theorie: Lösung ist Optimum der Langrange-Funktion: Optimierung einer Funktion unter den k Randbedingungen : Bilde die Lagrange-Funktion L und finde das Optimum von L. Notwendige Bedingung: stationäre Punkte von L: Lineare Support Vektor Maschine Lösung Supportvektormaschine durch Quadratische Programmierung Aufgabe:

80 Vorlesung "Intelligente Systeme" 80 Optimum der Langrange-Funktion: Lineare Support Vektor Maschine Einsetzen in L ergibt Optimiere Duale Form => Quadratische Optimierungsaufgabe: rein konvex

81 Vorlesung "Intelligente Systeme" 81 Lineare Support Vektor Maschine Optimiere => Quadratische Optimierungsaufgabe: rein konvex

82 Vorlesung "Intelligente Systeme" 82 Das Perzeptron im Betrieb Gewichtsvektor w und Schwellwert w 0 wurden vom Lernalgorithmus gefunden. Die Klassifikationsprozedur lautet dann: Dies kann als Netzwerk interpretiert werden: x1ox2o...xNox1ox2o...xNo w1w2.wNw1w2.wN w0w0  f Die Elemente des Merkmalsvektors werden auf die Eingangsknoten gegeben. Jedes wird multipliziert mit den entsprechenden Gewichten der Synapsen. Die Produkte werden zusammen mit dem Schwellwert aufsummiert. Das Ergebnis wird von einer Aktivierungsfunktion f verarbeitet (z.B. +1 wenn Ergebnis > 0, -1 sonst). Dieses grundlegende Netzwerk wird als Perzeptron oder Neuron bezeichnet. 5. Lineare Klassifikatoren

83 Vorlesung "Intelligente Systeme" Lineare Klassifikatoren Wiederhole, bis Konvergenz erreicht ist { Wiederhole für alle Trainingsvektoren { } Perzeptron-Lernphase: Bestimmung des erweiterten Gewichtsvektors Perzeptron-Betriebsphase: Klassifikation eines (erweiterten) Merkmalsvektors x1ox2o...xNox1ox2o...xNo w1w2.wNw1w2.wN w0w0  f Nach Konvergenz

84 Vorlesung "Intelligente Systeme" 84 Lineare Klassifikatoren Aufstieg und Fall des Perzeptrons 1957 – Frank Rosenblatt entwickelt Konzept des Perzeptron 1958 – Konzept-Vorstellung 1960 – Konzept-Umsetzung an der Cornell University, Ithaca, New York (USA) 1962 – Zusammenfassung der Ergebnisse in „Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms” 1969 – Beweis durch Marvin Minsky und Seymour Papert, dass ein einstufiges Perzeptron den XOR-Operator nicht darstellen kann.

85 Vorlesung "Intelligente Systeme" 85 Nicht-lineare Klassifikatoren Das XOR-Problem Das Zweischicht-Perzeptron Eigenschaften des Zweischicht-Perzeptrons Prozedur zum Auffinden geeigneter Abbildungen mit Perzeptrons Der Backpropagation-Algorithmus Bemerkungen zum Backpropagation-Algorithmus Freiheitsgrade beim Backpropagation-Algorithmus Nicht-lineare Support-Vektor-Maschine

86 Vorlesung "Intelligente Systeme" 86 In vielen praktischen Fällen sind auch optimale lineare Klassifikatoren unzureichend. Einfachstes Beispiel: Das XOR Problem. Bool´sche Operationen können als Klassifikationen aufgefasst werden: Abhängig vom binären Eingangsvektor ist der Ausgang entweder 1 (Klasse A) oder 0 (Klasse b). X 1 X 2 AND(X 1, X 2 ) KlasseOR(X 1, X 2 ) KlasseXOR(X 1, X 2 ) Klasse 00 0 B 0 B 0 B 01 0 B 1 A 1 A 10 0 B 1 A 1 A 11 1 A 1 A 0 B 0 1 x2x2 1 x1x1 B B B A 0 1 x2x2 1 x1x1 A A B A 0 1 x2x2 1 x1x1 A A B B Nicht-lineare Klassifikatoren

87 Vorlesung "Intelligente Systeme" 87 Das zweischichtige Perzeptron Wir betrachten zunächst das OR-Gatter: x1x1 0 x2x2 1 x1x1 A A B A Die OR-Separierung wird dargestellt durch folgende Perzeptron-Struktur: x1o x2ox1o x2o /2  f 0 1 x2x2 1 x1x1 A A B B Das XOR Gatter Eine offensichtliche Lösung des XOR-Problems wäre, zwei Entscheidungslinien g 1 (x) and g 2 (x) einzuzeichnen. Dann ist Klasse A auf der - Seite von g 1 (x) und auf der + Seite von g 2 (x) und Klasse B auf der + Seite von g 1 (x) und auf der - Seite von g 2 (x). Eine geeignete Kombination der Ergebnisse der beiden linearen Klassifikatoren würde also die Aufgabe erfüllen. g1(x)g1(x) g2(x)g2(x) Nicht-lineare Klassifikatoren: Mehrschicht-Perzeptron

88 Vorlesung "Intelligente Systeme" 88 Anderer Blickwinkel als Basis für Verallgemeinerung: Realisierung zweier Entscheidungslinien (Hyperebenen) durch Training zweier Perzeptrons mit Eingängen x 1, x 2 und entsprechend berechneten Gewichten. Die Perzeptrons wurden trainiert, die Ausgänge y i = f(g i (x)), i=1,2 zu liefern, Aktivierungsfunktion f: Sprungfunktion mit Werten 0 und 1. In der folgenden Tabelle sind die Ausgänge mit ihren entsprechenden Eingängen gezeigt: (x 1 x 2 )(y 1 y 2 )Klasse (00)(00) B (0) (01)(01) A (1) (10)(01) A (1) (11)(11) B (0) Betrachtet man (x 1, x 2 ) als Vektor x und (y 1, y 2 ) als Vektor y, definiert dies eine Abbildung von Vektor x auf Vektor y. Entscheidung über die Zugehörigkeit zu Klasse A oder B anhand der transformierten Daten y: x1x1 0 y2y2 1 y1y1 A B B Die Abbildung überführt linear nicht separierbares Problem im Ursprungsraum in ein linear separierbares im Bildraum. Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron 1

89 Vorlesung "Intelligente Systeme" 89 Eigenschaften des Zweischicht-Perzeptrons Die erste Schicht führt eine Transformation der Bereiche des Eingangsraumes (x 1,x 2 ) auf den + und - Seiten der geraden Entscheidungslinien g 2 : x 1 +x 2 -1/2=0 und g 1 : x 1 +x 2 -3/2=0 durch auf die Vertizes (Ecken) des Einheitsquadrates im Ausgangsraum (y 1,y 2 ). x1x1 0 y2y2 1 y1y1 A B B 1 Die zweite Schicht führt eine Abbildung der Bereiche des (y 1,y 2 )-Raumes auf den + und - Seiten der geraden Entscheidungslinie g 3 : -y 1 +y 2 -1/2=0 durch auf die Ausgangswerte 0 und x1ox1o 1111 y1y2y1y2 x2ox2o /2  f -3/2  f -1/2  f Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron 0 1 x2x2 1 x1x1 A A B B g1(x)g1(x) g2(x)g2(x)

90 Vorlesung "Intelligente Systeme" 90 Dies führt zum Zweischicht-Perzeptron, welches das XOR-Problem löst: Dieses kann weiter verallgemeinert werden auf das allgemeine Zweischicht-Perzeptron oder Zweischicht-Feedforward-Netzwerk: x1ox2o...xNox1ox2o...xNo O y 1 O y 2. O y M O w1..wNw1..wN w0w0  f Dabei bezeichnet jeder Knoten folgende Struktur: f  Sprungfunktion x1ox1o x2ox2o /2  f -3/2  f -1/2  f Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron

91 Vorlesung "Intelligente Systeme" 91 x1ox2o...xNox1ox2o...xNo O y 1 O y 2. O y M O Neuronen der ersten Schicht: Abbildung des Eingangsraumes auf die Vertizes eines Hyperkubus im M-dimensionalen Raum der Ausgangswerte der versteckten Neuronen. =>Jeder Eingangsvektor x wird auf einen binären Vektor y abgebildet. Komponenten y i des Abbild-Vektors y von Vektor x werden durch den Gewichtsvektor w i bestimmt. Wir betrachten den Fall dreier versteckter Neuronen: Drei Hyperebenen g 1, g 2, g 3 : Der Merkmalsraum wird in Polyeder unterteilt (Volumina, die durch Entscheidungs-Hyperebenen begrenzt werden), welche auf die Vertizes eines dreidimensionalen Kubus abgebildet werden, welche durch Tripel der binären Werte y 1, y 2, y 3 definiert werden. g1g1 g3g3 g2g Befindet sich x auf der positiven Seite der Ebene, welche durch w i definiert ist, hat y i den Wert 1 und wenn x auf der negativen Seite der Ebene liegt, die durch w i definiert ist, hat y i den Wert Zweite Schicht: Entscheidungshyperebene, welche die Vertizes in zwei Klassen aufteilt. Im vorliegenden Fall werden die Gebiete 111, 110, 101 und 100 in die gleiche Klasse eingeteilt. Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron

92 Vorlesung "Intelligente Systeme" 92 Ein Zweischicht-Perzeptron kann Klassen unterteilen, die aus Vereinigung polyedrischer Bereiche bestehen. Liegen Vereinigungen solcher Bereiche vor, wird eine weitere Schicht benötigt. x1ox2o...xNox1ox2o...xNo O y 1,2 O y 2,2. O y L,2 O O y 1,1 O y 2,1. O y M,1 Das Mehrschicht-Perzeptron löst alle Klassifikationsaufgaben, bei denen die Klassen im Merkmalsraum durch Vereinigungen von Polyedern, Vereinigungen solcher Vereinigungen,..., gebildet werden, wenn die entsprechende Anzahl von Schichten zur Verfügung steht. Das Perzeptron kann auch erweitert werden, um Mehrklassenprobleme zu lösen. :O:O Class w j Class w k Class w l GjGj GkGk GlGl p3p3 p1p1 p2p2 p4p4 m1m1 m2m2 m3m3 Merkmalsraum Klassenzugehörigkeits- raum Klassenzugehörigkeits- raum Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron

93 Vorlesung "Intelligente Systeme" 93 Anmerkungen: Struktur zur nicht-linearen Abbildung von Merkmalsvektoren auf Klassenzugehörigkeitsvektoren: Das Mehrschicht-Perzeptron. Verbleibende, noch zu bestimmenden Freiheitsgrade: Anzahl der Schichten, Anzahl der Neuronen pro Schicht, Aktivierungsfunktion, Gewichtswerte. Verbleibende Frage: Bei gegebenen Merkmalen und bekannten Klassenzugehörigkeiten der Stichproben- Vektoren: Welches ist die beste Anordnung von Neuronen und Gewichtsvektoren, die eine gegebene Klassifikationsaufgabe lösen? Hilfe seitens der Mathematik: Für jedes kontinuierliche Abbildungsproblem kann ein Zweischicht-Perzeptron mit einer nicht-linearen Aktivierungsfunktion und einer hinreichenden Anzahl Neuronen in der versteckten Schicht gefunden werden, welches die Abbildung mit beliebiger Genauigkeit annähert. => Freiheit, einen Satz von Aktivierungsfunktionen zu wählen, der eine einfache Lösung ermöglicht. Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron

94 Vorlesung "Intelligente Systeme" 94 Auffinden einer geeigneten Abbildung mit Perzeptrons Einmal wieder Optimierungsprozedur: Minimierung der Differenz zwischen realem Ausgang des Perzeptrons (vorausgesagte Klassenzugehörigkeit) und dem gewünschten Ausgang entsprechend der bekannten Klassenzugehörigkeiten der verfügbaren Stichprobe. Definition einer Kostenfunktion der Differenz zwischen realem und gewünschtem Ausgang. z.B. Summe der Fehlerquadrate. Minimierung der Kostenfunktion bezüglich der Perzeptron-Parameter. Vereinfachung: Definiere eine Aktivierungsfunktion. Dann braucht die Minimierung nur bezüglich der Gewichtswerte durchgeführt werden. Minimierung impliziert die Nutzung der Ableitungen der Aktivierungsfunktion. Wird die Sprungfunktion benutzt, tritt eine Unstetigkeit in der Ableitung auf. Wir ersetzen daher die Sprungfunktion durch die stetig differenzierbare logistische Funktion. x f Die logistische Funktion ist eine aufgeweichte Sprungfunktion, wobei a die Steigung bei x=0 bestimmt und Damit ist die Klassenzugehörigkeit nicht mehr scharf 0 oder 1. 1 Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron

95 Vorlesung "Intelligente Systeme" 95 Nun kann der “geeignetste” Klassifikator durch Minimierung einer Kostenfunktion bezüglich der Gewichtswerte gefunden werden. Geometrische Betrachtungsweise: Alle Gewichte (aller Schichten) spannen einen Raum auf. Die Kostenfunktion bildet dann eine Fläche über diesem Raum. => Globales Minimum dieser Fläche für die gegebene Stichprobe gesucht. Da nicht-lineare Aktivierungsfunktionen vorliegen, wird zur Suche ein iteratives Schema benutzt. Der verbreitetste Ansatz ist die Gradientenabstiegsmethode: Starte mit einem Zufalls-Gewichtsvektor w. Berechne den Gradienten der Fläche bei w. Bewege w in Richtung entgegen dem Gradienten. Wiederhole die obigen Schritte, bis ein Minimum erreicht ist, d.h. der Gradient einen Schwellwert unterschreitet. Es sei w der Gewichtsvektor von Neuron n in Schicht l: Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron

96 Vorlesung "Intelligente Systeme" 96 Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron x1ox2o...xNox1ox2o...xNo O O 2 1 ->y 2 1 O 2 2 ->y 2 1. O 2 A ->y 2 1 :O:O l=1 l=L Neuron 2 in Schicht 3 Korrektur-Inkrement  mit Kostenfunktion J: Kostenfunktion: Summe der Abweichungen des tatsächlichen vom gewünschten Ausgang für alle K Stichprobenvektoren:  : Summe der Fehlerquadrate über alle M Ausgangsneuronen: Kettenregel: o. o w1w2.wNw1w2.wN w0w0  f y Aktivierung Neuron n in Schicht l y1yMy1yM O 3 1 ->y 3 1 O 3 2 ->y 3 1. O 3 A ->y 3 1

97 Vorlesung "Intelligente Systeme" 97 Neuron n aus Schicht l-1. Ausgang für Stichprobenvektor k: y n l-1 (k). Gewichtswert zu Neuron j aus der nachfolgenden Schicht l: w jn l. Dann ist das Argument dieses Neurons j aus Schicht l: In der Ausgangsschicht ist An der Eingangsschicht gilt Definition für gegebenes Abweichungsmaß  Schließlich erhalten wir: Diese Beziehung gilt für jede differenzierbare Kostenfunktion. Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron o. o W n0 l-1 n f Schicht l-1 o. o. o w j0 l j f Schicht l

98 Vorlesung "Intelligente Systeme" 98 Die Berechnungen beginnen an der Ausgangsschicht l=L und propagieren rückwärts durch die Schichten l=L-1, L-2,..., 1. Bei Benutzung des Quadratfehler-Distanzmaßes erhalten wir: Aus wird Von folgt (1) l = L: Fehler für Muster k an Ausgangsschicht (2) l < L: Schwieriger wegen Einfluss von auf alle der nächsten Schicht Nochmals Kettenregel: Nach längerer Algebra erhält man folgende Gleichung: Dies vervollständigt den Gleichungssatz des Backpropagation Algorithmus. Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron Aktivierungsfunktion Ableitung der Aktivierungsfunktion

99 Vorlesung "Intelligente Systeme" 99 Der Backpropagation Gleichungssatz Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron Fehler-RückpropagierungGewichtsmodifikation

100 Vorlesung "Intelligente Systeme" 100 Der Backpropagation Gleichungssatz Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron Fehler-RückpropagierungGewichtsmodifikation o. o w n0 l-1 n f Schicht l-1 w j0 l j f Schicht l o. o. o

101 Vorlesung "Intelligente Systeme" 101 Der Backpropagation Algorithmus Unter der Annahme der logistischen Funktion als Aktivierungsfunktion: 1. Initialisierung Initialisiere die Gewichte des Netzwerks mit kleinen Zufallszahlen. Benutze z.B. einen Pseudozufallszahlengenerator. 2. Vorwärts-Berechnung Berechne für jeden Merkmalsvektor x(i) der Trainingsmenge alle v j l (i), y j l (i)=f(v j l (i)) und die Kostenfunktion J sowie  j l (i) für die momentanen Schätzwerte der Gewichte. 3. Rückwärts-Berechnung Berechne für jedes i die  j l-1 (i) und aktualisiere die Gewichte für alle Schichten entsprechend: Wiederhole Schritte 2 und 3, bis der Wert von J zufriedenstellend klein ist. Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron

102 Vorlesung "Intelligente Systeme" 102 Bemerkungen zum Backpropagation Algorithmus Ausgangspunkt Mehrschicht-Perzeptrons mit Stufenfunktionen als Aktivierungsfunktionen: Operatoren zur Aufteilung des Merkmalsraums in Volumina, welche Klassenzugehörigkeiten repräsentieren. Volumina waren allgemeine Vereinigungen von Polyedern, begrenzt durch Entscheidungs-Hyperebenen. Lösungsweg Für eine gegebene endliche Stichprobe (Merkmalsvektoren mit bekannter Klassenzugehörigkeit) existiert i.A. eine unbegrenzte Anzahl möglicher Mehrschicht- Perzeptron-Realisierungen, welche die Klassifikationsaufgabe lösen. Suche nach einer eindeutigen (der besten) Lösung: Minimum einer Kostenfunktion; Wahl: Fehlerquadratsumme. Für mathematische Formulierung: Ersatz der Stufenfunktion durch die logistische Funktion als Aktivierungsfunktion. Optimierungsprozedur zur Bestimmung der Gewichtwerte für eine gegebene Stichprobe: den Backpropagation Algorithmus. Allgemeingültigkeit Satz von Kolmogoroff aus der Mathematik: Abbildungsoperatoren mit einer versteckten Schicht und nicht-linearer Abbildungsfunktion sind in der Lage, jegliche stetig differenzierbare Abbildung zu realisieren. Daraus folgt, dass wir eine einfache Methode gefunden haben, einen universellen Mustererkenner zu konstruieren. Nicht-lineare Klassifikatoren : Mehrschicht-Perzeptron

103 Vorlesung "Intelligente Systeme" 103 Mehrschicht-Perzeptron Ausgangspunkt für Konstruktion nicht-linearer Klassifikatoren war XOR-Problem. Lösung: Vektor-Abbildung x auf y: in x nicht-lineares Problem -> linear separierbares in y f: Aktivierungsfunktion und g i (x): Linearkombination der Eingänge eines jeden Neurons. Dies ist ein Funktionenapproximationsproblem mit einem Satz Funktionen einer ausgewählten Funktionenklasse. Nicht-lineare Klassifikatoren : Verallgemeinerung 0,1,0 0,1,1 1,1, x1x1 x2x2 x1ox1o x2ox2o  f  f  f  f y1y1 y2y2 y3y3 y1y1 y2y2 y3y /2 -1/ ,0,0 0,0,1 1,0,0 1,0,1 1,1,1

104 Vorlesung "Intelligente Systeme" 104 Verallgemeinerte nicht-lineare Klassifikation Nicht-lineare Klassifikatoren : Verallgemeinerung Bilde die Daten mit irgend welchen Funktionen in einen höher-dimensionalen Merkmalsraum ab, in welchem ein linearer Klassifikator die Stichprobe korrekt trennt. + + x1x1 x2x2 x x x x x x x Trennkurve Klasse 1 Klasse 2 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x y1y1 y3y3 y2y2 Trennebene 0 1 x1x1 xx x x x o oo oo xx x x xx 0 1 y 1 =x 1 x x x x x x x x o o o o o y 2 =x 1 x 1 Beispiel Trenngerade

105 Vorlesung "Intelligente Systeme" 105 Im Ursprungsraum beide Klassen durch eine nicht-lineare Hyperfläche  (x)=0 trennbar, im Bildraum durch Hyperebene : Approximation der nicht-linearen Fläche  (x) mit einer Linearkombination der f(x). f muss nicht-linear sein, sonst nur Translation, Skalierung und Rotation (ungenügend). Verallgemeinerte nicht-lineare Klassifikation Verallgemeinerung: Merkmalsvektoren im d-dimensionalen Raum R d, die zu zwei Klassen gehören, die nicht linear trennbar sind. Gegeben seien k nicht-lineare Aktivierungsfuktionen f 1, f 2,..., f k, welche eine Abbildung definieren: Gesucht: Menge von Funktionen f 1, f 2,..., f k, so dass die Klassen linear separierbar sind im k-dimensiona- len Raum der Vektoren y durch eine Hyperebene für die Dies ist ein Funktionenapproximationsproblem mit einem Satz Funktionen einer ausgewählten Funktionenklasse. Nicht-lineare Klassifikatoren : Verallgemeinerung Bilde die Daten mit irgend welchen Funktionen in einen höher-dimensionalen Merkmalsraum ab, in welchem ein linearer Klassifikator die Stichprobe korrekt trennt.

106 Vorlesung "Intelligente Systeme" 106 Dies entspricht einem Zweischicht-Netzwerk mit Aktivierungsfunktionen f 1, f 2,..., f k. Die Äquivalenz wird leicht erkannt im (künstlichen) Fall jeweils eines Ein- und Ausgangsneurons: O f 1 O f 2. O f M O O x y w 1,1 w 1,2. w 1,M w 2,1 w 2,2. w 2,M Das bislang betrachtete Perzeptron benutzte als Funktionenklasse die logistischen Funktionen: y x w0w0 Zwei weitere Klassen haben in der Mustererkennung spezielle Bedeutung: PolynomeGaußfunktionen PolynomklassifikatorenRadiale-Basisfunktionen-Netze Nicht-lineare Klassifikatoren : Verallgemeinerung

107 Vorlesung "Intelligente Systeme" 107 Nicht-lineare Klassifikatoren : SVM Höher-dimensionaler Merkmalsraum : Es können komplexe Funktionen durch Schichtstruktur linearer Funktionen oder nicht-lineare Basisfunktionen abgebildet werden. Nachteile: Fluch der Dimensionalität Berechnungskomplexität hoch-dimensionaler Vektoren Lösung: Darstellung komplexer Funktionen in dualer Form: Benutzung von Kernelfunktionen, deren Wert das Skalarprodukt der Bildwerte der Argumente ist.

108 Vorlesung "Intelligente Systeme" 108 Nächster-Nachbar-Klassifikator Nächste-Nachbar-Regel Gegeben sei eine Stichprobe aus N Mustervektoren (Prototypen) und zugehörigen Klassenzugehörigkeiten (Label) Ein unbekanntes Muster ist zu klassifizieren. Regel: Es wird ihm die Klasse des ihm nächstliegenden Prototypen zugeordnet. Wirkung im Merkmalsraum: Aufteilung in Voronoi-Zellen Große Zellen (grobe Auflösung) wo Musterdichte gering Kleine Zellen (feine Auflösung) wo Musterdichte hoch Nicht-parametrische Methoden Klasse 1 Klasse 2 Graphik aus Duda, Hart, Stork: Pattern Classification 2nd edition,  Wiley-Interscience

109 Vorlesung "Intelligente Systeme" 109 K-Nächste-Nachbar-Klassifikator Gegeben sei eine Stichprobe aus N Mustervektoren (Prototypen) und zugehörigen Klassenzugehörigkeiten (Label) Ein unbekanntes Muster ist zu klassifizieren. Regel: Eine Hyperkugel wird um herum solange vergrößert, bis k Prototypen darin enthalten sind. Es wird die Klasse der einfachen Mehrheit dieser k nächsten Prototypen zugeordnet. Zwei-dmensionaler Merkmalsraum, Zwei-Klassenproblem, k=5 Nicht-parametrische Methoden Klasse 1 Klasse 2 Graphik aus Duda, Hart, Stork: Pattern Classification 2nd edition,  Wiley-Interscience

110 Vorlesung "Intelligente Systeme" 110 K-Nächste-Nachbar-Klassifikator Vergleich mit Bayes: Entscheidungsfehler E Für k=3, großes N und kleinen Bayes-Fehler gute Approximation für Bayes. Weitere Verbesserung im Limes für größeres k. Vorteil: Kein Training erforderlich Nachteil: Komplexität hoch: Speicherbedarf O(N), Abstandsberechnung O(Dimension), Suche kleinster Abstand O(d*N 2 ) bis O(d*N*lnN). => Effizienzsteigerung durch Verdichtung der Stichprobe Nicht-parametrische Methoden

111 Vorlesung "Intelligente Systeme" 111 Nächste-Nachbar-Klassifikator  Effizienzsteigerung durch Verdichtung der Stichprobe Kein Beitrag eines Prototypen x i zur Klassifikation, wenn seine Voronoi-Zelle nur Nachbarzellen mit seiner eigenen Klassenzugehörigkeit besitzt. Elimination überflüssiger Elemente in der Stichprobe: Falls im Voronoi-Diagramm die Nachbarzellen der Zelle von x i die gleiche Klassenzugehörigkeit wie aufweisen, kann der Prototyp x i aus der Stichprobe entfernt werden, ohne dass die Fehlerrate des NN- Klassifikators verändert wird. Nicht-parametrische Methoden

112 Vorlesung "Intelligente Systeme" 112 Nächste-Nachbar-Klassifikator  Effizienzsteigerung durch Verdichtung der Stichprobe Nicht-parametrische Methoden

113 Vorlesung "Intelligente Systeme" 113 Klassifikation Bei der Gesichtserkennung haben wir für jede Person eine Menge an Stichproben- mustern (z.B. Grauwertbilder) mit be- kannter Klassenzugehörigkeit (z.B. Name als Klassenlabel). Rechts ist ein Zweiklassenproblem (Identifikation) dargestellt. Bei der Konstruktion eines Klassifikators ist die erste Frage: Was ist die beste Menge an Merkmalen (aus Messungen im Bild zu extrahieren) um dem Klassifikator eine richtige und robuste Klassifikation zu ermöglichen? Die einfachste Wahl der direkten Verwendung der Grauwerte aller Pixel ist keine gute Wahl, da sie einen 64K- komponentigen Merkmalsvektor für 256x256 pixel Bilder erzeugt und der Merlmalsvektor selbst bei Verschiebungen von nur einem Pixel wesentlich gedreht wird. Person P P nicht P Merkmalsvorverarbeitung und -auswahl

114 Vorlesung "Intelligente Systeme" 114 Zunächst wird alles verfügbare a priori Wissen genutzt, wie z.B.: Korrigiere zuerst alle Verzerrungen, die bekannt sind oder in den Mustern selbst gemessen werden können. Eliminiere dann sämtliches Rauschen und alle Störungen, die nicht vom Objekt herrühren. Entferne Elemente aus den Mustern, die innerhalb einer Klasse stark variieren können oder instabil sind (z.B. hochfrequ. Komp. in Gesichtserkennung). Nach den obigen Filterungen und Transformationen folgt eine eventuelle Vorverarbeitung der Stichprobe mittels Entfernung von Ausreissern, Datennormierung und Substituierung fehlender Daten. Letztlich werden robuste, meßbare Merkmale mit hoher Trennbarkeit ausgewählt durch entweder Nutzung von Modellwissen oder Statistische Analyse Merkmalsvorverarbeitung und -auswahl

115 Vorlesung "Intelligente Systeme" 115 Vorverarbeitung durch Entfernung von Ausreißern Ausreißer: Punkt, der weit entfernt liegt vom Mittelwert einer Zufallsvariablen. Mögliche Ursachen: Meßfehler, Stichprobenwert aus dem „Außenbereich“ der Verteilung erwischt, Stichprobe besitzt lange „Außenbereiche”. Um das Problem anzugehen, sollte eine hinreichend große Stichprobe vorliegen, um statistisch signifikant Mittelwert und Standardabweichung berechnen zu können, eine gute Schätzung der Verteilung zu ermöglichen. Für eine normalverteilte Zufallsvariable mit Standardabwei- chung , deckt die Fläche um 2  um den Mittelwert 95% und um 3  99% aller Punkte ab. Noch weiter entfernte Punkte sind höchstwahrscheinlich Fehl- messungen und erzeugen beim Training große Fehler. Solche Punkte sollten entfernt werden. Ist die Anzahl der Ausreißer nicht klein, kann dies durch eine breite Verteilungsfunktion bedingt sein. Dann gibt die Quadratfehlersummen-Kostenfunktion den außen- liegenden Werten zuviel Gewicht (wegen der Quadrierung) und es sollte eine geeignetere Kostenfunktion (Kreuz-Entropie) gewählt werden. x p x p xmxm xmxm xoxo xoxo xm+xm+ x m +2  x p xmxm xoxo Merkmalsvorverarbeitung und -auswahl

116 Vorlesung "Intelligente Systeme" 116 Vorverarbeitung durch Datennormierung Der Meßprozeß zur Extraktion von Primärmerkmalen aus den Mustern kann in sehr unterschiedlichen dynamischen Bereichen für die verschiedenen Merkmale resultieren. So kann beim Punktschweißen die Schweißspannung von 0 V bis 1 kV variieren, der Schweißstrom (bei einer Konstantstromsteuerung) lediglich von 1,8 kA bis 1,9 kA. Problem: Merkmale mit großen Werten haben mehr Einfluß auf die Kostenfunktion als Merkmale mit kleinen Werten, was nicht unbedingt ihre Signifikanz widerspiegelt. Lösung: Normierung der Merkmale derart, dass die Werte aller Merkmale in ähnlichen Bereichen liegen. Maßnahme: Normierung mit den jeweiligen Schätzwerten von Mittelwert und Varianz: Angenommen, wir haben eine Stichprobe aus N Daten des Merkmals f, dann Nach der Normierung haben alle Merkmale den Mittelwert Null und Einheitsvarianz. Merkmalsvorverarbeitung und -auswahl

117 Vorlesung "Intelligente Systeme" 117 Die obige Methode ist linear. Sind die Daten nicht gleichmäßig um den Mittelwert verteilt, sind nicht-lineare Normierungen angezeigt. Diese können logarithmische oder logistische Funktionen sein, welche die Daten in vorgegebene Intervalle abbilden. Das softmax scaling ist ein weit verbreiteter Ansatz: Dies begrenzt den Bereich auf das Intervall [0,1]. Für kleine Werte des Arguments ergibt sich wieder eine lineare Methode. Der Grad der nicht-linearen Stauchung hängt vom Wert von  und vom Parameter r ab. Merkmalsvorverarbeitung und -auswahl

118 Vorlesung "Intelligente Systeme" 118 Vorverarbeitung durch Ergänzung fehlender Daten Problem: Manchmal ist die Anzahl verfügbarer Daten nicht für alle Merkmale gleich (z.B. asynchrone Messungen unterschiedlicher Frequenz). Für das Training wird jedoch die gleiche Anzahl von Daten für alle Merkmale benötigt. Lösung:  Wenn wir über viele Trainingsdaten verfügen und nur einige Messungen von Merkmalswerten fehlen, können Merkmalsvektoren mit fehlenden Elementen aus dem Trainingsdatensatz herausgenommen werden.  Wenn wir uns den Luxus des Wegwerfens von Merkmalsvektoren nicht leisten können, müssen wir die fehlenden Werte durch Schätzwerte ersetzen: Mittelwert der verfügbaren Merkmalswerte, Interpolationswert zwischen Vorgänger und Nachfolger Schätzwert aus der zugrundeliegenden Verteilung (wenn verfügbar) Merkmalsvorverarbeitung und -auswahl

119 Vorlesung "Intelligente Systeme" Einzelmerkmale Um einen ersten Eindruck von den ausgewählten Merkmalen zu erhalten, ist es nützlich, die Trennfähigkeit eines jeden einzelnen Merkmals zu betrachten. Dieses Vorgehen filtert Merkmale heraus, die keine Information über Klassenzugehörigkeiten enthalten. 2. Merkmalskombination Danach ist die beste Kombination der übrig gebliebenen Merkmale zu einem Merkmalsvektor zu betrachten. Merkmalsvorverarbeitung und -auswahl Bewertung und Auswahl von Merkmalen

120 Vorlesung "Intelligente Systeme" 120 Einzelmerkmals-Auswahl: t-Test für die Merkmalsauswahl Angenommen, wir haben ein Zweiklassenproblem und es sei das betrachtete Merkmal eine Zufallsvariable, dann lautet die Aufgabe, die folgenden Hypothesen zu testen: H 1 : Die Merkmalswerte unterscheiden sich nicht wesentlich für unterschiedliche Klassen. H 0 : Die Merkmalswerte unterscheiden sich wesentlich für unterschiedliche Klassen. H 0 ist dabei die Nullhypothese und H 1 die Alternativhypothese. Angenommen, Merkmal x gehört zu einer bekannten Familie von Wahrscheinlichkeitsverteilungsfunktionen mit einem unbekannten Parameter µ. Im Falle Gaußscher Verteilungen kann µ der Mittelwert oder die Varianz sein. Wenn bekannt ist, daß die Varianz denselben Wert  hat, lautet die Frage, ob sich die Mittelwerte µ 1 und µ 2 des Merkmals x für die beiden Klassen wesentlich unterscheiden. H 1 :  µ = µ 1 - µ 2  0, H 0 :  µ = µ 1 - µ 2 = 0 Werden die Werte von x für die Klasse 1 mit X und für Klasse 2 mit Y bezeichnet, definieren wir Z=X-Y. Dann können wir die Stichprobe für z verwenden, um auf die  µ Hypothese hin zu testen und einen t-Test durchführen mit Merkmalsvorverarbeitung und -auswahl

121 Vorlesung "Intelligente Systeme" 121 Prüfung bislang auf wesentlichen Unterschied der Mittelwerte eines Merkmals zweier Klassen: Merkmale mit ungefähr gleichem Mittelwert werden ausgeschlossen. Maß für Unterscheidungsfähigkeit eines Merkmals: ROC (Zusätzliche Betrachtung des Überlapps der Wahrscheinlichkeitsverteilungsfunktionen für die beiden Klassen). Wir können einen Schwellwert zwischen beiden Klassen definieren: Klassentrennbarkeit : Receiver operating characteristics Kurve x p XmXm YmYm x p     Schwellwert Klasse1 Klasse2 Wahrscheinlichkeit einer falschen Entscheidung über die Klasse1-Zugehörigkeit: Fläche  unter der oberen Kurve rechts vom Schwellwert; Wahrscheinlichkeit einer korrekten Entscheidung 1- . Entsprechend für Klasse2:  und 1- . Die Variation des Schwellwerts ergibt die ROC Kurve: Bei vollständigem Überlapp ist  1-  (Diagonale), ohne Überlapp ist 1-  = 1 unabhängig von , ansonsten erhalten wir eine Kurve wie im Diagramm. Die Fläche zwischen dieser Kurve und der Dia- gonale ist ein Überlapp-Maß zwischen 0 und 0,5. Die ROC Kurve: Durchfahren des Wertebereichs von x mit dem Schwellwert und Berechnung und Auftragung von  = 1-  im Diagramm. 1-   1 1 A Merkmalsvorverarbeitung und -auswahl Klasse1 Klasse2

122 Vorlesung "Intelligente Systeme" 122 Merkmalsvektor-Klassentrennbarkeitsmaße Die bisherigen Betrachtungen sind nicht geeignet, die Korrelationen zwischen Merkmalen zu berücksichtigen, die üblicherweise bestehen und die Unterscheidungseffizienz eines Merkmalsvektors beeinflussen. 1. Divergenz (Kullback-Leibler) Gegeben seien zwei Klassen c1 und c2. Gemäß der Bayes´schen Regel wird ein Merkmalsvektor x zugeordnet zu c1 wenn P(c1|x) > P(c2|x). Unterscheidbarkeit  für eine Merkmalsausprägung x:  x  =ln[p(c1|x)/p(c2|x)]. Mittelwerte von  : Symmetrische Kombination: Divergenz d Merkmalsvorverarbeitung und -auswahl

123 Vorlesung "Intelligente Systeme" 123 Merkmalsvektor-Klassentrennbarkeitsmaße Divergenz bei Normalverteilungen Für mehrdimensionale Gaussfunktionen mit Mittelwertvektoren  und Kovarianzmartizen  Merkmalsvorverarbeitung und -auswahl

124 Vorlesung "Intelligente Systeme" 124 Mit ist Divergenz dann gleich was sich im eindimensionalen Fall reduziert zu Verallgemeinerung auf Mehrklassen-Trennbarkeitsmaß M: Anzahl der Klassen Merkmalsvorverarbeitung und -auswahl

125 Vorlesung "Intelligente Systeme" Fishers discriminant ratio Das FDR Maß basiert auf der sogenannten Streumatrix-Methode. Für Zweiklassenprobleme in einer Dimension (ein Merkmal) hat die FDR folgende Form: Für Mehrklassenprobleme können mittelnde Formen der FDR benutzt werden: wobei die Indizes i und j sich auf Mittelwert und Varianz (des betrachteten Merkmals) für die Klassen c i und c j beziehen. 3. Weitere Klassentrennbarkeitsmaße Chernoff Rand und Brattcharrya Distanz. Die Mahalanobis-Distanz ist ein Spezialfall von (1.), wobei die Wahrscheinlichkeitsverteilungsfunktionen gleiche Kovarianzmatrizen besitzen. Merkmalsvorverarbeitung und -auswahl

126 Vorlesung "Intelligente Systeme" Visualisierung des Merkmalsraumes mit entsprechenden Werkzeugen Merkmalsvorverarbeitung und -auswahl

127 Vorlesung "Intelligente Systeme" 127 Merkmalsvektorauswahl Um den optimalen Merkmalsvektor aufzufinden, könnten wir eine vollständige Suche unter allen Kombinationen von l Merkmalen aus m möglichen durchführen. Wir würden die beste Kombination bezüglich eines bestimmten Trennbarkeitsmaßes suchen. Für große Werte von m kann dies ein ernsthaftes kombinatorisches Problem werden, da Beispiel: vollständige Suche nach Kombination der 5 besten Merkmale von 20 ergibt zu untersuchende Kombinationen. Aus diesem Grund gibt es viele Suchtechniken wie - Sequential forward selection 1. Bestes Einzelmerkmal M1 2. Beste Kombination von M1 mit einem weiteren Merkmal: M1,M2 3. Beste Kombination von M1,M2 mit einem weiteren Merkmal: M1,M2,M3 … bis gewünschte Leistung erreicht ist. Anzahl zu untersuchender Kombinationen: l+(l-1)+(l-2)+…+(l-m-1). - Genetische Algorithmen Merkmalsauswahl

128 Vorlesung "Intelligente Systeme" 128 Merkmalserzeugung Merkmale können rohe Meßwerte der zugrundeliegenden Muster sein. Dies kann zu sehr hochdimensionalen Merkmalsvektoren führen mit stark korrelierten Merkmalen und folgedessen Redundanz der Information. Die Aufgabe der Merkmalserzeugung ist die Beseitigung dieser Redundanzen durch Transformationen der rohen Meßwerte auf neue Koordinaten und die Auswahl nur solcher Koordinaten als neue Merkmale, die den höchsten Grad an Information beinhalten. Dies sollte zu einer Kompression der klassifikationsrelevanten Information in eine relativ kleine Anzahl von Merkmalen führen. Z.B. genügt bei der Gesichtserkennung eine Transformation auf ein System aus 50 „Eigengesichtern“ um alle Gesichter mit ausreichender Genauigkeit zu beschreiben, während die Ursprungsbilder aus z.B Werten bestehen. Lineare Transformationen Karhunen-Loève (Eigenvektor-Zerlegung) Singulärwertzerlegung Fourier-Transformation Hadamard Transformation Wavelet Transformation... Signaleigenschaften Invariante Momente, Textur, Rauhigkeit,.... Anwendungsbeispiel Qualitätskontrolle beim Widerstands-Punktschweißen Inkl. Merkmalserzeugung und Merkmalsauswahl

129 Vorlesung "Intelligente Systeme" 129 Hauptkomponenten-Transformation x1x1 x2x2 h h x´ 1 x´ 2 Zwei ursprüngliche Merkmale x 1 und x 2 sind der Stichprobenverteilung nicht gut angepasst. Besser x 1 ´ und x 2 ´ : Zur Beschreibung genügt x 1 ´: Linearer Unterraum von x 1, x 2.

130 Vorlesung "Intelligente Systeme" 130 x1x1 x2x2 h h x´ 1 x´ 2 1. Verschiebung in den Schwerpunkt 2. Drehung auf Richtung maximaler Varianz Hauptkomponenten-Transformation

131 Vorlesung "Intelligente Systeme" 131 x1x1 x2x2 h h 0,00 2,00 4,00 6,00 8,00 10,00 12,00 14,00 0,005,0010,0015,00 Hauptkomponenten-Transformation

132 Vorlesung "Intelligente Systeme" Allgemeines Vorgehen Muster-Stichprobe Schätzung Schwerpunkt Empirische Kovarianz-Matrix Hauptachsen und Hauptachsenabschnitte durch Diagonalisierung von K und davon Eigenwerte, Eigenvektoren Hauptkomponenten-Transformation

133 Vorlesung "Intelligente Systeme" 133 0,00 2,00 4,00 6,00 8,00 10,00 12,00 14,00 0,005,0010,0015,00 x1x1 x2x2 h h Muster-Stichprobe Schätzung Schwerpunkt Empirische Kovarianz-Matrix Hauptkomponenten-Transformation

134 Vorlesung "Intelligente Systeme" 134 Hauptachsen und Hauptachsenabschnitte x1x1 x2x2 h 0,00 2,00 4,00 6,00 8,00 10,00 12,00 14,00 0,005,0010,0015,00 Empirische Kovarianz-Matrix 1. Charakteristisches Polynom null setzen: Nullstellen sind gesuchte Eigenwerte. 2. Eigenvektoren durch Einsetzen in und Lösen von Hauptkomponenten-Transformation

135 Vorlesung "Intelligente Systeme" Singulärwert-Zerlegung SVD von Y 3. Eigenwert-Zerlegung von Hauptkomponenten-Transformation

136 Vorlesung "Intelligente Systeme" Vorgehen zur Lösung der PCA 1. 2.I) II) III) wenn N > m, dann I), wenn N < m, dann III) Bemerkung: Hauptkomponenten-Transformation

137 Vorlesung "Intelligente Systeme" 137 Jede m x n – Matrix mit m > n kann geschrieben werden als Produkt einer m x m, spalten-normalen Matrix, einer positiv semi-definiten n x n Diagonalmatrix und der Transponierten einer n x n normalen Matrix.

138 Vorlesung "Intelligente Systeme" 138 Hauptachsen und Hauptachsenabschnitte Sortieren nach Hauptachsenabschnitten (relative Relevanz) Abschneiden ab Schwellwert Zugehörige Eigenvektoren: Hauptkomponenten (neue Basis) “Durchschnitts- gesicht” “Eigengesichter” Hauptkomponenten-Transformation 5. Beispiel: Eigengesichter

139 Vorlesung "Intelligente Systeme" 139 Merkmalsgewinnung: Subtraktion des Schwerpunkts vom Eingangsmuster Projektion des Ergebnisses auf die Hauptkomponenten Hauptkomponenten-Transformation

140 Vorlesung "Intelligente Systeme" 140 Einbringen von a priori Wissen Bisher: Erlernen einer Abbildung Anhand einer bekannten Stichprobe Jetzt: Nutzung von a priori Wissen a) Nur bestimmte zeitliche Abfolgen sind möglich Zeitdiskrete Prozesse: Hidden-Markov-Modelle b) Kausale Zusammenhänge sind bekannt oder vermutet: Bayesian Belief Networks c) Randbedingungen für die Lösung sind bekannt: Kostenfunktion- Regularisierung |1|5|7|8|3|4| Muster Klassenzugehörigkeit |1|0|0| Muster 1 Klassenzugehörigkeit 1 Muster N Klassenzugehörigkeit N.:.:

141 Vorlesung "Intelligente Systeme" 141 Literatur R. O. Duda, P. E. Hart, D. G. Stork: Pattern Classification, 2nd ed., Wiley, New York 2001 C. M. Bishop: Pattern Recognition and Machine Learning, Springer, Berlin 2004 Weitere Literaturangaben unter /BeschrIntelliSys.htm


Herunterladen ppt "Vorlesung "Intelligente Systeme" 1 0. Intelligente Systeme – Beispiele und Fähigkeiten Benötigte Technologien  Analysator Erkennung  Kategorisierung,"

Ähnliche Präsentationen


Google-Anzeigen