Probabilistic Neural Network Team 6 – Multimedia Engineering Fakultät für Ingenieurwissenschaften Brodkorb, Karsten Liesche, Toni Wendel, Tom

2 „The resulting network […] has the unique feature that the decision boundary implemented by the probabilistic neural network (PNN) asymptotically approaches the Bayes optimal decision surface.“ Donald F. Specht (Lockheed Missiles & Space Company) - 1990

3 Inhaltsverzeichnis 1 Probabilistic Neural Networks … Grundlagen … Allgemeiner Aufbau … Mathematische Grundlagen … Der Glättungsparameter σ 2 Implementierung in Knime 3 Testdaten 4 Quellen

Grundlagen Eigenschaften: Klassifizierer 4 Grundlagen Eigenschaften: Klassifizierer Nähert sich optimalem Bayes Klassifizierer an Berechnung anhand von Wahrscheinlichkeiten  „Probabilistic“ NNs Unanfällig gegenüber Ausreißern Kurze Trainingszeit (klassisches PNN) Voraussetzungen: Datensätze mit numerischen Attributen Menge mit (repräsentativen) Trainingsdaten Große Mengen an Speicher- und Rechenzeit nötig

Allgemeiner Aufbau Input Layer Unbekannte Eingangsdaten Pattern Layer 5 Allgemeiner Aufbau Input Layer Unbekannte Eingangsdaten Pattern Layer Trainingsdaten in Populationen, Berechnung des Abstands Summation Layer Bildung des durchschnittlichen Abstands je Population Output Layer Klassifizierung

Mathematische Grundlagen 6 Mathematische Grundlagen x Unbekannte Eingabegröße xik k-tes Beispiel der i-ten Population n Anzahl der Elemente einer Population σ Glättungsparameter p Länge der Merkmalsvektor siehe Dokumentation 𝑔𝑖 𝑥 = 1 (2𝜋) 𝑝/2 𝜎 𝑝 𝑛 𝑖 𝑘=1 𝑛 𝑖 𝑒 − 𝑥 − 𝑥 𝑘 𝑖 2 2 𝜎 2

Der Glättungsparameter σ (I) 7 Der Glättungsparameter σ (I) Kleiner Wert für σ: Ausschläge in der Dichtefunktion entsprechen den Positionen der zugehörigen Trainingsdaten Größerer Wert für σ: Stärkere Interpolation der Werte Werte nahe der Trainingsdaten: ähnliche (geschätzte) Wahr- scheinlichkeiten wie Trainingsdaten Noch größerer Wert für σ: Weitere Interpolation Sehr großer Wert für σ: Gaußkurve unabhängig der realen Verteilung

Der Glättungsparameter σ (II) 8 Der Glättungsparameter σ (II) Möglichkeiten zur Bestimmung: Freie Festlegung aufgrund von Erfahrung Nutzung einer heuristischen Methode: Optimalen Wert innerhalb eines Intervalls suchen Intervall und Schrittweite verkleinern z.B. Jackknifing  siehe Dokumentation

9 Inhaltsverzeichnis 1 Probabilistic Neural Networks 2 Implementierung in Knime … Dynamic Decay Adjustment (DDA)- Algorithmus … Workflowaufbau 3 Testdaten 4 Quellen

Dynamic Decay Adjustment (I) 10 Dynamic Decay Adjustment (I) Konstruktives Training: Neue Neuronen werden bei Bedarf angelegt Bestimmung der Netztopologie während des Trainings Schnelles Training: In der Regel weniger als 5 Durchläufe Garantierte Konvergenz: Terminierung bei endlicher Anzahl von Trainingsdaten kann bewiesen werden Unkritische Parameter: Nur zwei manuelle Parameter einzustellen Binärdaten führen zu schlechten Vorhersagen! Constructive Training Fast Training Guaranteed Convergence Non critical Parameters Bad at Binary Data

Dynamic Decay Adjustment (II) 11 Dynamic Decay Adjustment (II) Deutliche Klassifizierungszonen: Alle Trainingsdaten erfüllen folgende Eigenschaften Alle korrekten Klassifikationen ≥ ϴ+ Alle falschen Klassifikationen ≤ ϴ- Muster in „area of conflict“ haben niedrige Klassenwahrscheinlichkeiten Zwei Schwellwerte während des Trainings: ϴ+: Minimalwert für gewinnende Klasse (0 … 1) ϴ-: Maximalwert für nicht gewinnende Klasse (0 … 1) ϴ- ≤ ϴ+

Dynamic Decay Adjustment (III) 12 Dynamic Decay Adjustment (III) Erweiterungen zu PNNs: Individuelle Diagonalmatrix Σ für jeden Trainingssatz statt globales σ Alternativer Ansatz: Manuelle Festlegung der Struktur, Anpassung der Parameter Dynamic Decay Adjustment vereint Vorteile der Verfahren: Topologie des Netzes zur Laufzeit bestimmt Lokale Glättungsparameter σ Gewichtungen für sämtliche Prototypen (abhängig von Topologie) 𝑔 𝑘 𝑖 𝑥 = 1 (2𝜋) 𝑝/2 σ 𝑘 𝑖 𝑝 𝑒 − 𝑥 − 𝑥 𝑘 𝑖 ² 2 σ 𝑘 𝑖 2 𝑔 𝑖 𝑥 = 𝑘=1 𝑛 𝑖 𝜋 𝑘 𝑖 𝑔 𝑘 𝑖 𝑥 ; 𝜋 𝑘 𝑖 = 𝐴 𝑘 𝑖 𝑗=1 𝑛 𝑖 𝐴 𝑗 𝑖 ; 𝑘=1 𝑛 𝑖 𝜋 𝑘 𝑖 =1

Dynamic Decay Adjustment (IV) 13 Dynamic Decay Adjustment (IV) Beispiel für DDA- Lernverfahren: Berechnung: siehe Dokumentation

Workflowaufbau File Reader: Liest Daten aus Eingabedatei (CSV-Format) 14 Workflowaufbau File Reader: Liest Daten aus Eingabedatei (CSV-Format) Partitioning: Aufteilung in Trainingsdaten (60%) und Testdaten (40%) Stratified Sampling: Beibehaltung der Klassenverteilung PNN Learner (DDA): Training des Netzes, Einstellen von ϴ(-) und ϴ(+) PNN Predictor: Vorhersage der Daten Ergebnisse normalisiert: a posteriori Wahrscheinl. Summe aller Klassen = 1

15 Inhaltsverzeichnis 1 Probabilistic Neural Networks 2 Implementierung in Knime 3 Testdaten … Vorverarbeitung … Auswertung 4 Quellen

Vorverarbeitung Datenauswahl: 16 Vorverarbeitung Datenauswahl: Vollständige Datensätze gewählt (zum Vergleich mit MLP) PNN = Euklidische Abstandsberechnung: Numerische Werte nötig Binärkodierung nominaler Werte Normierung der Werte: 0 … 1 für Gleichgewichtung Individuelle Gewichtung möglich

17 Auswertung C4.5: Entscheidungsbaum, Erweiterung von ID3  numerische Werte MLP: Multi Layer Perceptron kNN: k Nearest Neighbour (k = 3) Angegeben: Fehlerrate bei Klassifizierung der Testdaten in Prozent i.d.R.: geringer Einfluss von ϴ-/ϴ+ auf Klassifizierung, großer Einfluss auf Netzgröße Ausnahme Kreditscoring: 20,5% Fehlerrate bei 0,2 / 0,4! Datensatz Trainingsdaten/ Testdaten C4.5 MLP kNN PNN ϴ-/ϴ+ Regeln Reduzierung d. Netzgröße Gehalt USA 320 / 214 35,05 33,18 36,45 31,78 0,05/0,1 203 36,6% Kreditscoring 600 / 400 0,75 0,05/0,5 478 20,3% Schwertlilien 90 / 60 3,33 5 0,45/0,65 10 88,88% DMC 2007 30000 / 20000 23,645 22,665 23,13 22,615 0,2/0,4 3227 89,25%

18 Inhaltsverzeichnis 1 Probabilistic Neural Networks 2 Implementierung in Knime 3 Testdaten 4 Quellen

19 Quellen Cheung, Vincent; Cannons, Kevin: An Introduction to Probabilistic Neural Networks. Winnipeg (Kanada), University of Manitoba, Electrical & Computer Engineering, Information Paper, 2002 Berthold, Michael R.; Diamond, Jay: Constructive Training of Probabilistic Neural Networks. Karlsruhe, University of Karlsruhe, Deparment of Computer Design and Fault Tolerance, Wissenschaftliches Paper, 1997 Specht, Donald F.: Probabilistic Neural Networks. In Neural Networks, Vol. 3. Oxford (England) und New York (USA): Pergamon Press plc, 1990, S. 109 – 118

Vielen Dank für Ihre Aufmerksamkeit! 20 Vielen Dank für Ihre Aufmerksamkeit!