Neuronale Netze für strukturierte Daten Antrittsvorlesung zur Habilation, Barbara Hammer, AG LNM, Universität Osnabrück 10.12.2003 Antrittsvorlesung

Vektor 10.12.2003 Antrittsvorlesung

Übersicht Lernende Vektorquantisierung und Relevanzlernen LVQ RLVQ Anwendungen Large margin Weitere Ansätze 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen … 10.12.2003 Antrittsvorlesung

LVQ … 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - LVQ Kohonen  10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - LVQ Lernende Vektorquantisierung (LVQ) [Kohonen]: überwachtes selbstorganisierendes Klassifikationsverfahren Netz gegeben durch Prototypen (wi,c(wi)) ∈ ℝn x {1,…,m} Klassifikation ℝn∋x  c(wj)∈{1..m} mit |x-wj| minimal Hebbsches Lernen anhand von Beispieldaten (xi,c(xi)) i.e.ziehe xi und adaptiere den Gewinner wj: wj := wj ± η·(xi-wj) 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - LVQ Beispiel: unterscheide Äpfel von Birnen Repräsentation als Vektor ( Øx/Øy , Härte ) in ℝ2 x1 x2 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - LVQ Problem: LVQ basiert auf der Euklidischen Metrik.  Probleme bei vielen und unterschiedlich relevanten Dimensionen 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - LVQ Dramatisches Beispiel dieses Problems: 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - LVQ Dieses tritt insbesondere bei als Vektor kodierten komplexen Strukturen auf. (mittlere Anzahl Nachbarn, minimale Anzahl Nachbarn, maximal Anzahl Nachbarn, Anzahl von gegebenen Subgraphen, topologische Indizes, ... Farbe der Knoten) 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - LVQ Kohonen, wenn er diesen Vortrag hören würde…  10.12.2003 Antrittsvorlesung

RLVQ … 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - RLVQ Relevanzlernen: ersetze die Euklidische Metrik durch eine Metrik mit adaptiven Relevanzfaktoren adaptiere die Relevanzfaktoren durch Hebbsches Lernen:  Relevanz LVQ 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - RLVQ Generalisiertes RLVQ – adaptive Relevanzfaktoren in GLVQ, Adaptation als stochastischer Gradientenabstieg gewichteter quadratischer Abstand zum nächsten korrekten/falschen Prototypen minimiere  10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - RLVQ Wir bzw. Kohonen, wenn er‘s wüßte …  10.12.2003 Antrittsvorlesung

Anwendungen … 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen Erkennung von Fehlzuständen bei Kolbenmaschinen PROGNOST 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen Detektion aufgrund hochdimensionaler und heterogener Daten: Sensoren liefern zeitabhängige Daten: Druck, Oszillation, ... Prozeß Charakteristika, Merkmale des pV Diagramms, … Sensorik 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen Typische Datenlage: 30 Zeitreihen mit je 36 Einträgen 20 Analysewerte über ein Zeitintervall 40 globale Merkmale 15 Klassen, 100 Trainingsmuster Maschine LVQ Experten-LVQ GRLVQ 1, Train Test 69.6 (64.8-71.9) 66.7 (65.3-69.8) 91.6 (89.1-92.4) 81.6 (75.2-83.4) 98.2 (96.3-100) 97.2 (93.5-100) 2, Train 72.3 (68.4-74.3) 65.3 (62.5-67.2) 92.1 (88.3-97.2) 84.5 (74.2-86.3) 99.1 (98.4-100) 97.7 (97.6-100) 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen … Prognost  10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen Prognose von Splice-Stellen: Kopie der DNA branch site A64G73G100T100G62A68G84T63 C65A100G100 reading frames 18-40 bp pyrimidines, i.e. T,C donor acceptor ATCGATCGATCGATCGATCGATCGATCGAGTCAATGACC nein ja 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen IPsplice (UCI): menschliche DNA, 3 Klassen, ca.3200 Punkte, Fenstergröße 60, alt C.elegans (Sonneburg et al.): nur acceptor/decoys, 1000/10000 Trainingspunkte, 10000 Testpunkte, Fenstergröße 50, decoys liegen nahe an acceptors GRLVQ mit wenigen Prototypen (8 / 5 pro Klasse) geänderte Metrik: LIK lokale Korrelationen 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen IPsplice: GRLVQ HMM SVM-LIK SVM-TOP SVM-FK BRAIN BP LIN ID3 96.5 94 96.3 94.6 94.7 87 78.3 62.3 66.6 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen GRLVQ HMM SVM-LIK SVM-TOP SVM-FK 1000 95.2 97.2 94.8 95.4 96.5 10000 95.7 97.4 96.1 97.7 97.5 C.elegans: ... GRLVQ erlaubt kom-pakte Modelle, Aufwand linear in Bezug auf die Trainingsdaten 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen … die Biologen  10.12.2003 Antrittsvorlesung

Large margin … 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen – large margin   F := durch GRLVQ mit p Prototypen berechnete binäre Klassifikationen (xi,yi)i=1..m Trainingsdaten, i.i.d. gemäß Pm f in F Ziel: EP(f) := P(y≠f(x)) soll klein sein Lernalgo. 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen – large margin Ziel: EP(f) := P(y≠f(x)) soll klein sein Lerntheorie: EP(f) ≤ |{ i | yi≠f(xi)}| + strukturelles Risiko Für GRLVQ gilt: EP(f) ≤ |{ i | yi ≠ f(xi)}| + Ʃ0<Mf(xi)<ρ(1-Mf(xi)/ρ) + O(p2(B3+(ln 1/δ)1/2)/(ρm1/2)) wobei Mf(xi) := - dλ+(xi) + dλ-(xi) der margin ist (= Sicherheit) dimensionsunabhängige large-margin Schranke! GRLVQ optimiert den margin: empirischer Fehler wird im Training optimiert wie sicher legen m Trainingsdaten die Funktion fest Trainingsfehler Punkte mit zu kleinem margin Schranke in Abhängigkeit von m = Anzahl Daten p = Anzahl Prototypen, B = Träger, δ = Konfidenz ρ = margin 10.12.2003 Antrittsvorlesung

Lernende Vektorquantisierung und Relevanzlernen – large margin Wir  10.12.2003 Antrittsvorlesung

Weitere Ansätze … 10.12.2003 Antrittsvorlesung

Weitere Ansätze Rekursive Verarbeitung von beliebig langen Sequenzen reeller Vektoren A T C G … 10.12.2003 Antrittsvorlesung

Weitere Ansätze Rekursive Verarbeitung von Bäumen und DPAGs: gerichtete positionierte azyklische Graphen mit beschränkter Anzahl Nachfolger/Vorgänger und einem Wurzelknoten a b e h d 10.12.2003 Antrittsvorlesung

Weitere Ansätze Ich  10.12.2003 Antrittsvorlesung

Weitere Ansätze 10.12.2003 Antrittsvorlesung

Weitere Ansätze SVM Komplexität Lernbarkeit GRLVQ + SOM, Datamining Schriftzeichenerkennung Satellitendaten Zeitreihenprognose Kernelisierung Neural Gas Regelextraktion Rekursive Netze Rekurrente Netze SOM, Datamining .. und weitere Nullmengen  10.12.2003 Antrittsvorlesung

Thanks!!! Birmingham Berlin Thorsten Bojer Prognost Peter Tino Rheine Brijnesh Jain os Biele Leipzig Jochen Steil Helge Ritter Tina  Houston Marc Strickert Kai Gersmann OR-Gruppe Theo.Inf. Gatersleben Thomas Villmann Erzsebeth Merenyi Udo Seiffert Hyderabad Illinois Padua Pisa Bhaskar DasGupta Matukumalli Vidyasagar Alessandro Sperduti Alessio Micheli Thanks!!! 10.12.2003 Antrittsvorlesung

10.12.2003 Antrittsvorlesung