Lernen 1. Vorlesung Ralf Der Universität Leipzig Institut für Informatik

Präsentation zum Thema: "Lernen 1. Vorlesung Ralf Der Universität Leipzig Institut für Informatik"—  Präsentation transkript:

1 Lernen 1. Vorlesung Ralf Der Universität Leipzig Institut für Informatik der@informatik.uni-leipzig.de

2 Ralf DerLernenVorlesung01-WS06 / 072 Allgemeines zur Vorlesung Vertiefungsmodul Intelligente Systeme. Modulnummer 10-202-2302 Vertiefungsmodul im M. Sc. Informatik und Master Lehramt Informatik Gymnasium und Mittelschule Vorlesung Lernen ist Bestandteil des Moduls. Umfang 2 SWS. Prüfung durch Klausur am Ende des Semesters.

3 Ralf DerLernenVorlesung01-WS06 / 073 Inhaltsverzeichnis Behandelt werden symbolische und subsymbolische Lernverfahren. Themen sind -Allgemeines zu Lernen -Neuronale Netze -Clustering und Klassifikationslernen - Support Vector Machines - Reinforcement Learning -Entscheidungsbaum-Lernen - Lernen von Regeln und Konzepten

4 Ralf DerLernenVorlesung01-WS06 / 074 Paradigmen des Lernens I Allgemeiner Kontext: Unter Lernen versteht man den bewussten und unbewussten individuellen oder kollektiven Erwerb von geistigen und körperlichen Kenntnissen und Fertigkeiten oder Fähigkeiten. Lernen kann als Änderung des Verhaltens, Denkens oder Fühlens aufgrund verarbeiteter Wahrnehmung der Umwelt oder Bewusstwerdung eigener Regungen bezeichnet werden. (Quelle Wikipedia) individuellenKenntnissenFertigkeitenFähigkeitenVerhaltensWahrnehmungUmwelt Bewusstwerdung Wissenschaftliche Teildisziplinen: Lernpsychologie, die Pädagogische Psychologie, Neurobiologie, die Didaktik und PädagogikLernpsychologiePädagogische PsychologieNeurobiologieDidaktikPädagogik Für uns aber besonders die Künstliche Intelligenz Jedoch ist Lernen mehr als das reine Abspeichern von Informationen. Lernen beinhaltet die Wahrnehmung der Umwelt, die Verknüpfung mit Bekanntem (Erfahrung) und das Erkennen von Regelmäßigkeiten (Mustererkennung).InformationenWahrnehmungErfahrungErkennenMustererkennung

5 Ralf DerLernenVorlesung01-WS06 / 075 Paradigmen des Lernens II Diese allgemeinen, und insbesondere auf den Menschen abgestimmten Paradigmen interessieren hier weniger. Stattdessen: Aufbau einer formalisierten Theorie mit konkreten Algorithmen für die Realisierung eines lernenden Sytems als Bestandteil eines intelligenten Systems. Beispiel überwachtes Lernen (Lernen mit Lehrer, supervised learning): Lerner Lehrer: y = f(x) Inputvektor x Lernsignal Solloutputvektor y soll +/- Outputvektor y

6 Ralf DerLernenVorlesung01-WS06 / 076 Paradigmen des Lernens IIa Aufgabe des Lerners im supervised learning ist das „Erlernen“ des Funktionszusammenhages y = f(x) aus einer endlichen Anzahl von im allgemeinen verrauschten Trainingsbeispielen (x, y soll ). Lerner Lehrer: y = f(x) Inputvektor x Lernsignal Solloutputvektor y soll +/- Outputvektor y

7 Ralf DerLernenVorlesung01-WS06 / 077 Paradigmen des Lernens III Reinforcement-Lernen: Lernen aus Lob und Tadel. Zwischen supervised und unsupervised Lernen. Lerner Lehrer Inputvektor x Bewertung des Verhaltens des Lerners (Reward r) Outputvektor y r

8 Ralf DerLernenVorlesung01-WS06 / 078 Paradigmen des Lernens IVa Nichtüberwachtes Lernen (unsupervised learning): Erkennen von Strukturen in den Daten, meist aus statistischen Regelmäßigkeiten Beispiel Clusterung: der Lerner lernt selbständig, jeden Datenvektor einem Cluster zuzuordnen. Lerner Inputvektor x Cluster 1 Cluster n

9 Ralf DerLernenVorlesung01-WS06 / 079 Paradigmen des Lernens IVa Beispiel Clusterung: der Lerner lernt selbständig, jeden Datenvektor einem Cluster zuzuordnen. x1x1 x2x2 Clustervektoren

10 Ralf DerLernenVorlesung01-WS06 / 0710 Lernverfahren Neben den Paradigmen des Lernens unterscheidet man auch nach den Lernverfahren, d.h. den konkreten algorithmischen Ansätzen mit denen das Lernen stattfindet. Diese hängen eng von der konkreten Realisierung des Lerners an. Z. B. parameteradaptive Lernverfahren: Lerner durch eine parametrisierte Funktion realisiert. Beispiel neuronales Netz. Parameter werden sukzessive angepasst, um die Leistungen des Lerners zu optimieren. Beispiel supervised learning mit Gradientenverfahren: Definiere eine Fehlerfunktion »E = || y – y soll || 2 Gradientenabstieg: Update für Parametervektor w:

11 Ralf DerLernenVorlesung01-WS06 / 0711 Beispiel lineare Regression Lerner durch Funktionsansatz y = ax + b mit Parametervektor w = (a,b) T gegeben. Gesucht beste Parameter, die Abweichung von den Datenpunkten minimieren: y x y = ax + b Avanciertes Verfahren (nichlinear, hochdimensional, effektiv): Support-Vector-Machines

12 Ralf DerLernenVorlesung01-WS06 / 0712 Vorschau Im folgenden zunächst neuronale Netze als Beispiele für parameteradaptive Lernverfahren behandelt.

13 Ralf DerLernenVorlesung01-WS06 / 0713 Einige Bilder

14 Ralf DerLernenVorlesung01-WS06 / 0714 Neuronen Mathematisches Modell des Neurons : z x1x1 xnxn y w1w1

15 Ralf DerLernenVorlesung01-WS06 / 0715 Neuronale Netze