Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Fakultät für Ingenieurwissenschaften Brodkorb, Karsten Liesche, Toni Wendel, Tom Team 6 – Multimedia Engineering Probabilistic Neural Network.

Ähnliche Präsentationen


Präsentation zum Thema: "Fakultät für Ingenieurwissenschaften Brodkorb, Karsten Liesche, Toni Wendel, Tom Team 6 – Multimedia Engineering Probabilistic Neural Network."—  Präsentation transkript:

1 Fakultät für Ingenieurwissenschaften Brodkorb, Karsten Liesche, Toni Wendel, Tom Team 6 – Multimedia Engineering Probabilistic Neural Network

2 Team 6: Probabilistic Neural Networks 2 The resulting network […] has the unique feature that the decision boundary implemented by the probabilistic neural network (PNN) asymptotically approaches the Bayes optimal decision surface. Donald F. Specht (Lockheed Missiles & Space Company)

3 Team 6: Probabilistic Neural Networks Inhaltsverzeichnis 1 Probabilistic Neural Networks … Grundlagen … Allgemeiner Aufbau … Mathematische Grundlagen … Der Glättungsparameter σ 2 Implementierung in Knime 3 Testdaten 4 Quellen 3

4 Team 6: Probabilistic Neural Networks Grundlagen 4 Eigenschaften: Klassifizierer Nähert sich optimalem Bayes Klassifizierer an Berechnung anhand von Wahrscheinlichkeiten Probabilistic NNs Unanfällig gegenüber Ausreißern Kurze Trainingszeit (klassisches PNN) Voraussetzungen: Datensätze mit numerischen Attributen Menge mit (repräsentativen) Trainingsdaten Große Mengen an Speicher- und Rechenzeit nötig

5 Team 6: Probabilistic Neural Networks Allgemeiner Aufbau 5 Input Layer Unbekannte Eingangsdaten Pattern Layer Trainingsdaten in Populationen, Berechnung des Abstands Summation Layer Bildung des durchschnittlichen Abstands je Population Output Layer Klassifizierung

6 Team 6: Probabilistic Neural Networks Mathematische Grundlagen 6 xUnbekannte Eingabegröße x ik k-tes Beispiel der i-ten Population n Anzahl der Elemente einer Population σGlättungsparameter pLänge der Merkmalsvektor siehe Dokumentation

7 Team 6: Probabilistic Neural Networks Der Glättungsparameter σ (I) 7 Kleiner Wert für σ: Ausschläge in der Dichtefunktion entsprechen den Positionen der zugehörigen Trainingsdaten Größerer Wert für σ: Stärkere Interpolation der Werte Werte nahe der Trainingsdaten: ähnliche (geschätzte) Wahr- scheinlichkeiten wie Trainingsdaten Noch größerer Wert für σ: Weitere Interpolation Sehr großer Wert für σ: Gaußkurve unabhängig der realen Verteilung

8 Team 6: Probabilistic Neural Networks Der Glättungsparameter σ (II) 8 Möglichkeiten zur Bestimmung: Freie Festlegung aufgrund von Erfahrung Nutzung einer heuristischen Methode: Optimalen Wert innerhalb eines Intervalls suchen Intervall und Schrittweite verkleinern z.B. Jackknifing siehe Dokumentation

9 Team 6: Probabilistic Neural Networks Inhaltsverzeichnis 1 Probabilistic Neural Networks 2 Implementierung in Knime … Dynamic Decay Adjustment (DDA)- Algorithmus … Workflowaufbau 3 Testdaten 4 Quellen 9

10 Team 6: Probabilistic Neural Networks Dynamic Decay Adjustment (I) 10 Konstruktives Training: Neue Neuronen werden bei Bedarf angelegt Bestimmung der Netztopologie während des Trainings Schnelles Training: In der Regel weniger als 5 Durchläufe Garantierte Konvergenz: Terminierung bei endlicher Anzahl von Trainingsdaten kann bewiesen werden Unkritische Parameter: Nur zwei manuelle Parameter einzustellen Binärdaten führen zu schlechten Vorhersagen!

11 Team 6: Probabilistic Neural Networks Dynamic Decay Adjustment (II) 11 Deutliche Klassifizierungszonen: Alle Trainingsdaten erfüllen folgende Eigenschaften Alle korrekten Klassifikationen + Alle falschen Klassifikationen - Muster in area of conflict haben niedrige Klassenwahrscheinlichkeiten Zwei Schwellwerte während des Trainings: + : Minimalwert für gewinnende Klasse (0 … 1) - : Maximalwert für nicht gewinnende Klasse (0 … 1) - +

12 Team 6: Probabilistic Neural Networks Dynamic Decay Adjustment (III) 12 Erweiterungen zu PNNs: Individuelle Diagonalmatrix Σ für jeden Trainingssatz statt globales σ Alternativer Ansatz: Manuelle Festlegung der Struktur, Anpassung der Parameter Dynamic Decay Adjustment vereint Vorteile der Verfahren: Topologie des Netzes zur Laufzeit bestimmt Lokale Glättungsparameter σ Gewichtungen für sämtliche Prototypen (abhängig von Topologie)

13 Team 6: Probabilistic Neural Networks Dynamic Decay Adjustment (IV) 13 Beispiel für DDA- Lernverfahren: Berechnung: siehe Dokumentation

14 Team 6: Probabilistic Neural Networks Workflowaufbau 14 File Reader: Liest Daten aus Eingabedatei (CSV-Format) Partitioning: Aufteilung in Trainingsdaten (60%) und Testdaten (40%) Stratified Sampling: Beibehaltung der Klassenverteilung PNN Learner (DDA): Training des Netzes, Einstellen von (-) und (+) PNN Predictor: Vorhersage der Daten Ergebnisse normalisiert: a posteriori Wahrscheinl. Summe aller Klassen = 1

15 Team 6: Probabilistic Neural Networks Inhaltsverzeichnis 1 Probabilistic Neural Networks 2 Implementierung in Knime 3 Testdaten … Vorverarbeitung … Auswertung 4 Quellen 15

16 Team 6: Probabilistic Neural Networks Datenauswahl: Vollständige Datensätze gewählt (zum Vergleich mit MLP) PNN = Euklidische Abstandsberechnung: Numerische Werte nötig Binärkodierung nominaler Werte Normierung der Werte: 0 … 1 für Gleichgewichtung Individuelle Gewichtung möglich Vorverarbeitung 16

17 Team 6: Probabilistic Neural Networks C4.5: Entscheidungsbaum, Erweiterung von ID3 numerische Werte MLP: Multi Layer Perceptron kNN: k Nearest Neighbour (k = 3) Angegeben: Fehlerrate bei Klassifizierung der Testdaten in Prozent i.d.R.: geringer Einfluss von -/+ auf Klassifizierung, großer Einfluss auf Netzgröße Ausnahme Kreditscoring: 20,5% Fehlerrate bei 0,2 / 0,4! Auswertung 17 DatensatzTrainingsdaten/ Testdaten C4.5MLPkNNPNN-/+RegelnReduzierung d. Netzgröße Gehalt USA320 / 21435,0533,1836,4531,780,05/0,120336,6% Kreditscoring600 / ,750,05/0,547820,3% Schwertlilien90 / 603,335000,45/0,651088,88% DMC / ,64522,66523,1322,615 0,2/0, ,25%

18 Team 6: Probabilistic Neural Networks Inhaltsverzeichnis 1 Probabilistic Neural Networks 2 Implementierung in Knime 3 Testdaten 4 Quellen 18

19 Team 6: Probabilistic Neural Networks Quellen Cheung, Vincent; Cannons, Kevin: An Introduction to Probabilistic Neural Networks. Winnipeg (Kanada), University of Manitoba, Electrical & Computer Engineering, Information Paper, 2002 Berthold, Michael R.; Diamond, Jay: Constructive Training of Probabilistic Neural Networks. Karlsruhe, University of Karlsruhe, Deparment of Computer Design and Fault Tolerance, Wissenschaftliches Paper, 1997 Specht, Donald F.: Probabilistic Neural Networks. In Neural Networks, Vol. 3. Oxford (England) und New York (USA): Pergamon Press plc, 1990, S. 109 –

20 Team 6: Probabilistic Neural Networks Vielen Dank für Ihre Aufmerksamkeit! 20


Herunterladen ppt "Fakultät für Ingenieurwissenschaften Brodkorb, Karsten Liesche, Toni Wendel, Tom Team 6 – Multimedia Engineering Probabilistic Neural Network."

Ähnliche Präsentationen


Google-Anzeigen