Neuronale Netze für strukturierte Daten

Präsentation zum Thema: "Neuronale Netze für strukturierte Daten"—  Präsentation transkript:

1 Neuronale Netze für strukturierte Daten
Antrittsvorlesung zur Habilation, Barbara Hammer, AG LNM, Universität Osnabrück Antrittsvorlesung

2 Vektor Antrittsvorlesung

3 Übersicht Lernende Vektorquantisierung und Relevanzlernen
LVQ RLVQ Anwendungen Large margin Weitere Ansätze Antrittsvorlesung

4 Lernende Vektorquantisierung und Relevanzlernen …
Antrittsvorlesung

5 LVQ … Antrittsvorlesung

6 Lernende Vektorquantisierung und Relevanzlernen - LVQ
Kohonen  Antrittsvorlesung

7 Lernende Vektorquantisierung und Relevanzlernen - LVQ
Lernende Vektorquantisierung (LVQ) [Kohonen]: überwachtes selbstorganisierendes Klassifikationsverfahren Netz gegeben durch Prototypen (wi,c(wi)) ∈ ℝn x {1,…,m} Klassifikation ℝn∋x  c(wj)∈{1..m} mit |x-wj| minimal Hebbsches Lernen anhand von Beispieldaten (xi,c(xi)) i.e.ziehe xi und adaptiere den Gewinner wj: wj := wj ± η·(xi-wj) Antrittsvorlesung

8 Lernende Vektorquantisierung und Relevanzlernen - LVQ
Beispiel: unterscheide Äpfel von Birnen Repräsentation als Vektor ( Øx/Øy , Härte ) in ℝ2 x1 x2 Antrittsvorlesung

9 Lernende Vektorquantisierung und Relevanzlernen - LVQ
Problem: LVQ basiert auf der Euklidischen Metrik.  Probleme bei vielen und unterschiedlich relevanten Dimensionen Antrittsvorlesung

10 Lernende Vektorquantisierung und Relevanzlernen - LVQ
Dramatisches Beispiel dieses Problems: Antrittsvorlesung

11 Lernende Vektorquantisierung und Relevanzlernen - LVQ
Dieses tritt insbesondere bei als Vektor kodierten komplexen Strukturen auf. (mittlere Anzahl Nachbarn, minimale Anzahl Nachbarn, maximal Anzahl Nachbarn, Anzahl von gegebenen Subgraphen, topologische Indizes, ... Farbe der Knoten) Antrittsvorlesung

12 Lernende Vektorquantisierung und Relevanzlernen - LVQ
Kohonen, wenn er diesen Vortrag hören würde…  Antrittsvorlesung

13 RLVQ … Antrittsvorlesung

14 Lernende Vektorquantisierung und Relevanzlernen - RLVQ
Relevanzlernen: ersetze die Euklidische Metrik durch eine Metrik mit adaptiven Relevanzfaktoren adaptiere die Relevanzfaktoren durch Hebbsches Lernen:  Relevanz LVQ Antrittsvorlesung

15 Lernende Vektorquantisierung und Relevanzlernen - RLVQ
Generalisiertes RLVQ – adaptive Relevanzfaktoren in GLVQ, Adaptation als stochastischer Gradientenabstieg gewichteter quadratischer Abstand zum nächsten korrekten/falschen Prototypen minimiere  Antrittsvorlesung

16 Lernende Vektorquantisierung und Relevanzlernen - RLVQ
Wir bzw. Kohonen, wenn er‘s wüßte …  Antrittsvorlesung

17 Anwendungen … Antrittsvorlesung

18 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen
Erkennung von Fehlzuständen bei Kolbenmaschinen PROGNOST Antrittsvorlesung

19 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen
Detektion aufgrund hochdimensionaler und heterogener Daten: Sensoren liefern zeitabhängige Daten: Druck, Oszillation, ... Prozeß Charakteristika, Merkmale des pV Diagramms, … Sensorik Antrittsvorlesung

20 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen
Typische Datenlage: 30 Zeitreihen mit je 36 Einträgen 20 Analysewerte über ein Zeitintervall 40 globale Merkmale 15 Klassen, 100 Trainingsmuster Maschine LVQ Experten-LVQ GRLVQ 1, Train Test 69.6 ( ) 66.7 ( ) 91.6 ( ) 81.6 ( ) 98.2 ( ) 97.2 ( ) 2, Train 72.3 ( ) 65.3 ( ) 92.1 ( ) 84.5 ( ) 99.1 ( ) 97.7 ( ) Antrittsvorlesung

21 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen
… Prognost  Antrittsvorlesung

22 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen
Prognose von Splice-Stellen: Kopie der DNA branch site A64G73G100T100G62A68G84T63 C65A100G100 reading frames 18-40 bp pyrimidines, i.e. T,C donor acceptor ATCGATCGATCGATCGATCGATCGATCGAGTCAATGACC nein ja Antrittsvorlesung

23 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen
IPsplice (UCI): menschliche DNA, 3 Klassen, ca.3200 Punkte, Fenstergröße 60, alt C.elegans (Sonneburg et al.): nur acceptor/decoys, 1000/10000 Trainingspunkte, Testpunkte, Fenstergröße 50, decoys liegen nahe an acceptors GRLVQ mit wenigen Prototypen (8 / 5 pro Klasse) geänderte Metrik: LIK lokale Korrelationen Antrittsvorlesung

24 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen
IPsplice: GRLVQ HMM SVM-LIK SVM-TOP SVM-FK BRAIN BP LIN ID3 96.5 94 96.3 94.6 94.7 87 78.3 62.3 66.6 Antrittsvorlesung

25 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen
Antrittsvorlesung

26 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen
GRLVQ HMM SVM-LIK SVM-TOP SVM-FK 1000 95.2 97.2 94.8 95.4 96.5 10000 95.7 97.4 96.1 97.7 97.5 C.elegans: ... GRLVQ erlaubt kom-pakte Modelle, Aufwand linear in Bezug auf die Trainingsdaten Antrittsvorlesung

27 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen
… die Biologen  Antrittsvorlesung

28 Large margin … Antrittsvorlesung

29 Lernende Vektorquantisierung und Relevanzlernen – large margin
  F := durch GRLVQ mit p Prototypen berechnete binäre Klassifikationen (xi,yi)i=1..m Trainingsdaten, i.i.d. gemäß Pm f in F Ziel: EP(f) := P(y≠f(x)) soll klein sein Lernalgo. Antrittsvorlesung

30 Lernende Vektorquantisierung und Relevanzlernen – large margin
Ziel: EP(f) := P(y≠f(x)) soll klein sein Lerntheorie: EP(f) ≤ |{ i | yi≠f(xi)}| + strukturelles Risiko Für GRLVQ gilt: EP(f) ≤ |{ i | yi ≠ f(xi)}| + Ʃ0<Mf(xi)<ρ(1-Mf(xi)/ρ) + O(p2(B3+(ln 1/δ)1/2)/(ρm1/2)) wobei Mf(xi) := - dλ+(xi) + dλ-(xi) der margin ist (= Sicherheit) dimensionsunabhängige large-margin Schranke! GRLVQ optimiert den margin: empirischer Fehler wird im Training optimiert wie sicher legen m Trainingsdaten die Funktion fest Trainingsfehler Punkte mit zu kleinem margin Schranke in Abhängigkeit von m = Anzahl Daten p = Anzahl Prototypen, B = Träger, δ = Konfidenz ρ = margin Antrittsvorlesung

31 Lernende Vektorquantisierung und Relevanzlernen – large margin
Wir  Antrittsvorlesung

32 Weitere Ansätze … Antrittsvorlesung

33 Weitere Ansätze Rekursive Verarbeitung von beliebig langen Sequenzen reeller Vektoren A T C G … Antrittsvorlesung

34 Weitere Ansätze Rekursive Verarbeitung von Bäumen und DPAGs: gerichtete positionierte azyklische Graphen mit beschränkter Anzahl Nachfolger/Vorgänger und einem Wurzelknoten a b e h d Antrittsvorlesung

35 Weitere Ansätze Ich  Antrittsvorlesung

36 Weitere Ansätze Antrittsvorlesung

37 Weitere Ansätze SVM Komplexität Lernbarkeit GRLVQ + SOM, Datamining
Schriftzeichenerkennung Satellitendaten Zeitreihenprognose Kernelisierung Neural Gas Regelextraktion Rekursive Netze Rekurrente Netze SOM, Datamining .. und weitere Nullmengen  Antrittsvorlesung

38 Thanks!!! Birmingham Berlin Thorsten Bojer Prognost Peter Tino Rheine
Brijnesh Jain os Biele Leipzig Jochen Steil Helge Ritter Tina  Houston Marc Strickert Kai Gersmann OR-Gruppe Theo.Inf. Gatersleben Thomas Villmann Erzsebeth Merenyi Udo Seiffert Hyderabad Illinois Padua Pisa Bhaskar DasGupta Matukumalli Vidyasagar Alessandro Sperduti Alessio Micheli Thanks!!! Antrittsvorlesung

39 Antrittsvorlesung