Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

10.12.2003Antrittsvorlesung1 Neuronale Netze für strukturierte Daten Antrittsvorlesung zur Habilation, Barbara Hammer, AG LNM, Universität Osnabrück.

Ähnliche Präsentationen


Präsentation zum Thema: "10.12.2003Antrittsvorlesung1 Neuronale Netze für strukturierte Daten Antrittsvorlesung zur Habilation, Barbara Hammer, AG LNM, Universität Osnabrück."—  Präsentation transkript:

1 Antrittsvorlesung1 Neuronale Netze für strukturierte Daten Antrittsvorlesung zur Habilation, Barbara Hammer, AG LNM, Universität Osnabrück

2 Antrittsvorlesung2 Vektor

3 Antrittsvorlesung3 Übersicht 1. Lernende Vektorquantisierung und Relevanzlernen LVQ RLVQ Anwendungen Large margin 2. Weitere Ansätze

4 Antrittsvorlesung4 Lernende Vektorquantisierung und Relevanzlernen …

5 Antrittsvorlesung5 LVQ …

6 Antrittsvorlesung6 Lernende Vektorquantisierung und Relevanzlernen - LVQ Kohonen

7 Antrittsvorlesung7 Lernende Vektorquantisierung und Relevanzlernen - LVQ Lernende Vektorquantisierung (LVQ) [Kohonen] : überwachtes selbstorganisierendes Klassifikationsverfahren Netz gegeben durch Prototypen (w i,c(w i )) n x {1,…,m} Hebbsches Lernen anhand von Beispieldaten (x i,c(x i )) Klassifikation n x c(w j ) {1..m} mit |x-w j | minimal i.e.ziehe x i und adaptiere den Gewinner w j : w j := w j ± η·(x i -w j )

8 Antrittsvorlesung8 Lernende Vektorquantisierung und Relevanzlernen - LVQ Beispiel: unterscheide Äpfel von Birnen Repräsentation als Vektor ( Øx/Øy, Härte ) in 2 x1x1 x2x2

9 Antrittsvorlesung9 Lernende Vektorquantisierung und Relevanzlernen - LVQ Problem: LVQ basiert auf der Euklidischen Metrik. Probleme bei vielen und unterschiedlich relevanten Dimensionen

10 Antrittsvorlesung10 Lernende Vektorquantisierung und Relevanzlernen - LVQ Dramatisches Beispiel dieses Problems:

11 Antrittsvorlesung11 Lernende Vektorquantisierung und Relevanzlernen - LVQ Dieses tritt insbesondere bei als Vektor kodierten komplexen Strukturen auf. (mittlere Anzahl Nachbarn, minimale Anzahl Nachbarn, maximal Anzahl Nachbarn, Anzahl von gegebenen Subgraphen, topologische Indizes,... Farbe der Knoten)

12 Antrittsvorlesung12 Lernende Vektorquantisierung und Relevanzlernen - LVQ Kohonen, wenn er diesen Vortrag hören würde…

13 Antrittsvorlesung13 RLVQ …

14 Antrittsvorlesung14 Relevanzlernen: ersetze die Euklidische Metrik durch eine Metrik mit adaptiven Relevanzfaktoren adaptiere die Relevanzfaktoren durch Hebbsches Lernen: Lernende Vektorquantisierung und Relevanzlernen - RLVQ Relevanz LVQ

15 Antrittsvorlesung15 Generalisiertes RLVQ – adaptive Relevanzfaktoren in GLVQ, Adaptation als stochastischer Gradientenabstieg Lernende Vektorquantisierung und Relevanzlernen - RLVQ minimiere gewichteter quadratischer Abstand zum nächsten korrekten/falschen Prototypen

16 Antrittsvorlesung16 Lernende Vektorquantisierung und Relevanzlernen - RLVQ Wir bzw. Kohonen, wenn ers wüßte …

17 Antrittsvorlesung17 Anwendungen …

18 Antrittsvorlesung18 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen Erkennung von Fehlzuständen bei Kolbenmaschinen PROGNOST PROGNOST

19 Antrittsvorlesung19 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen Detektion aufgrund hochdimensionaler und heterogener Daten: Sensoren liefern zeitabhängige Daten: Druck, Oszillation,... Prozeß Charakteristika, Merkmale des pV Diagramms, … Sensorik

20 Antrittsvorlesung20 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen Typische Datenlage: 30 Zeitreihen mit je 36 Einträgen 20 Analysewerte über ein Zeitintervall 40 globale Merkmale 15 Klassen, 100 Trainingsmuster MaschineLVQExperten-LVQGRLVQ 1, Train Test 69.6 ( ) 66.7 ( ) 91.6 ( ) 81.6 ( ) 98.2 ( ) 97.2 ( ) 2, Train Test 72.3 ( ) 65.3 ( ) 92.1 ( ) 84.5 ( ) 99.1 ( ) 97.7 ( )

21 Antrittsvorlesung21 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen … Prognost

22 Antrittsvorlesung22 Prognose von Splice-Stellen: Lernende Vektorquantisierung und Relevanzlernen - Anwendungen branch site A 64 G 73 G 100 T 100 G 62 A 68 G 84 T bp pyrimidines, i.e. T,C C 65 A 100 G 100 Kopie der DNA donoracceptor neinja ATCGATCGATCGATCGATCGATCGATCGAGTCAATGACC reading frames

23 Antrittsvorlesung23 IPsplice (UCI): menschliche DNA, 3 Klassen, ca.3200 Punkte, Fenstergröße 60, alt C.elegans (Sonneburg et al.): nur acceptor/decoys, 1000/10000 Trainingspunkte, Testpunkte, Fenstergröße 50, decoys liegen nahe an acceptors GRLVQ mit wenigen Prototypen (8 / 5 pro Klasse) geänderte Metrik: LIK Lernende Vektorquantisierung und Relevanzlernen - Anwendungen lokale Korrelationen

24 Antrittsvorlesung24 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen GRLVQHMMSVM-LIKSVM-TOPSVM-FKBRAINBPLINID IPsplice:

25 Antrittsvorlesung25 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen

26 Antrittsvorlesung26 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen GRLVQHMMSVM-LIKSVM-TOPSVM-FK C.elegans:... GRLVQ erlaubt kom- pakte Modelle, Aufwand linear in Bezug auf die Trainingsdaten

27 Antrittsvorlesung27 Lernende Vektorquantisierung und Relevanzlernen - Anwendungen … die Biologen

28 Antrittsvorlesung28 Large margin …

29 Antrittsvorlesung29 Lernende Vektorquantisierung und Relevanzlernen – large margin F := durch GRLVQ mit p Prototypen berechnete binäre Klassifikationen (x i,y i ) i=1..m Trainingsdaten, i.i.d. gemäß P m f in F Ziel: E P (f) := P(yf(x)) soll klein sein Lernalgo.

30 Antrittsvorlesung30 Ziel: E P (f) := P(yf(x)) soll klein sein Lerntheorie: E P (f) |{ i | y i f(x i )}| + strukturelles Risiko Für GRLVQ gilt: E P (f) |{ i | y i f(x i )}| + Ʃ 0

31 Antrittsvorlesung31 Lernende Vektorquantisierung und Relevanzlernen – large margin Wir

32 Antrittsvorlesung32 Weitere Ansätze …

33 Antrittsvorlesung33 Weitere Ansätze Rekursive Verarbeitung von beliebig langen Sequenzen reeller Vektoren … G C T A

34 Antrittsvorlesung34 Weitere Ansätze Rekursive Verarbeitung von Bäumen und DPAGs: gerichtete positionierte azyklische Graphen mit beschränkter Anzahl Nachfolger/Vorgänger und einem Wurzelknoten a be ha d

35 Antrittsvorlesung35 Weitere Ansätze Ich

36 Antrittsvorlesung36 Weitere Ansätze

37 Antrittsvorlesung37 Weitere Ansätze GRLVQ + Schriftzeichenerkennung Satellitendaten Zeitreihenprognose Kernelisierung Neural Gas Regelextraktion Rekurrente Netze SVM Rekursive Netze Komplexität Lernbarkeit SOM, Datamining.. und weitere Nullmengen

38 Antrittsvorlesung38 os Marc Strickert Kai Gersmann OR-Gruppe Theo.Inf. Biele Leipzig Rheine Thorsten Bojer Prognost Birmingham Peter Tino Thomas Villmann Houston Padua Hydera ba d Pisa Alessio Micheli Alessandro Sperduti Matukumalli Vidyasagar Berlin Illinois Erzsebeth Merenyi Bhaskar DasGupta Gatersleben Brijnesh Jain Jochen Steil Helge Ritter Tina Udo Seiffert

39 Antrittsvorlesung39


Herunterladen ppt "10.12.2003Antrittsvorlesung1 Neuronale Netze für strukturierte Daten Antrittsvorlesung zur Habilation, Barbara Hammer, AG LNM, Universität Osnabrück."

Ähnliche Präsentationen


Google-Anzeigen