Seminarankündigung für das SS04 Empfehlungssysteme in E-Commerce und E-Business: Methoden und Herausforderungen PD Dr. Oliver Wendt Blockseminar 25.+26. Juni 2004 Status quo der Verwendung von Recommender Systems und Einordnung in die Marketing-Theorie Darstellung der verwendeten Methoden: content based filtering, collaborative filtering, data mining, social network analysis etc. Architekturen für die Gestaltung von Datenschutz- und Anreiz-problemen Themenvorschläge und Anmeldung (bis zum 30.4.) unter www.is-frankfurt.de Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Künstliche Neuronale Netze Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Künstliche Neuronale Netze Selbständige Entwicklung von („subsymbolischen“) IV-Fähigkeiten als adaptive Reaktion auf eine Informationsumgebung parallel verteilt Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Definition Ein neuronales Netz ist ein gerichteter Graph mit folgenden Eigenschaften: Jedem Punkt ist ein Speicher zugeordnet. Jede Kante fungiert als unidirektionaler Signalpfad. Die von einem Punkt ausgehenden Signale sind auf allen Kanten identisch. Jedem Punkt ist eine Transferfunktion zugeordnet. Diese ordnet den Ausgangsknoten, abhängig vom Speicherinhalt und den eingehenden Signalen, ein Ausgangssignal zu. In der Lernphase kann eine Subfunktion einem Speicher, abhängig vom bisherigen Inhalt, abhängig von einem Präsentationswert sowie abhängig von den eingehenden Signalen, einen neuen Wert zuweisen. Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Das Neuron Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Eigenschaften der KNN Lernfähigkeit Verallgemeinerungsfähigkeit Assoziationsfähigkeit Robustheit Massiv parallele Informationsverarbeitung Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Anwendungsgebiete der KNN Mustererkennung Spracherkennung Signalverarbeitung Maschinelles Lernen, Expertensysteme Diagnose Vorhersage Optimierung Steuerung, Regelung Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Bedeutung von “Lernen” in KNN die Gewichte der Verbindungen zwischen den Neuronen modifizieren ein neues Neuron kreieren ein Neuron zerstören Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Lernmethoden in KNN Supervised Learning (Überwachtes Lernen) Das vom KNN gelieferte Output wird mit dem gewünschten Output verglichen; das KNN wird anhand von diesem Unterschied trainiert. Reinforcement Learning (Kritiker Lernen) Das vom KNN gelieferte Output erhält eine Bewertung; das KNN wird anhand von dieser Bewertung trainiert. Unsupervised Learning Dem Netz werden nur Inputs präsentiert. Während der Trainingsphase werden die Gewichte der Neuronen so geändert, dass die Trainingsbeispiele in korrelierten Kategorien (Cluster) organisiert werden. Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Das Neuron (Begriffe) Biologisches neuronales Netz := miteinander verbundene Nervenzellen (Neuronen) der Hirnrinde (Neocortex) kommunizieren per elektrischer Impulse Dendriten: Eingabeeinheit, Empfang der Signalimpulse Zellkörper: Verarbeitungseinheit wird aktiviert, wenn Summe aller Dendritensignale eine Schwelle überschreitet Axon: Ausgabeeinheit - leitet Aktivierungsimpuls zu anderen Neuronen Synapse: Kontaktpunkt zwischen Axon und Dendrit des nächsten Neurons Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Künstliches Neuronales Netz (schematisches Neuron) y1 = f (w1x1+w2x2+b1) x1 w1 y1 Input Output w2 x2 Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Neuronales Netz (Multi-Layered-Perceptron) w11 y1 x1 w‘1 w12 z1 w21 Output w‘2 y2 x2 w22 w11 w12 w21 w22 Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Neuronales Netz (Feed Forward) Diskrete Ergebnisse: y1 = F (w1x1+w2x2 +b1)  { -1, 1} w11 y1 x1 w‘1 w12 w21 Output d ( x1, x2 ) w‘2 y2 x2 w22 Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Neuronales Netz (Feed Forward) Sigmoid Funktion yj = arctan (  wijxi ) Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Neuronales Netz (Feed Forward) Lernregeln Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Neuronales Netz (Feed Forward) x1 x5 x2 x3 x4 x10 x7 x6 x9 x8 input layer weight matrix 1 hidden layer weight matrix 2 output layer Ausgangssignal Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Lerntheorie Neuron-Wichtungsvektor: Netzwerk-Wichtungsvektor: Netzwerk-Funktion: Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Lerntheorie Um eine Funktion A(x) zu approximieren, muß der quadratische Fehler F(w) auf dem von allen Inputparametern aufgespannten „Volumen“ V (also dem u.U. hochdimensionalen Parameterraum) unter Berücksichtigung der Dichte p minimiert werden: Unter Berücksichtigung dieses allgemeinen Lerngesetzes lassen sich topologie-spezifische Lernregeln aufstellen. Man unterscheidet: Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Lerntheorie supervised learning Netzwerk funktioniert als Input/Output-System (ggf. interpolierend) entweder: beim Lernen werden die korrekten (gewünschten) Input/Output-Paare verwendet oder: die Anpassung des Gewichtungsvektors orientiert sich an einem Bewertungsmaß competitive learning (self organization, keine separate Lernphase) bei jedem Lernschritt kommt es zu einem "Wettbewerb“ zwischen den Neuronen des Netzwerks der "Gewinner" darf seinen Gewichtungsvektor anpassen Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Anwendungen Assoziative Netze Assoziativspeicher Klassifikator (z.B. Kreditwürdigkeitsprüfung) Abbildungsnetze Transformation Nicht-lineare Regression (KNN mit 1 hidden layer können jeden funktionalen Zusammenhang abbilden!) Selbstorganisierende Netze zur Optimierung Entscheidungsunterstützungssysteme IWI Frankfurt 2004