Ringvorlesung der Forschergruppe „Neue Medien im Alltag“

Präsentation zum Thema: "Ringvorlesung der Forschergruppe „Neue Medien im Alltag“"—  Präsentation transkript:

1 Ringvorlesung der Forschergruppe „Neue Medien im Alltag“
Lernende Computer Werner Dilger NeMeA Technische Universität Chemnitz Fakultät für Informatik / Professur KI Prof. Dr. Werner Dilger Tel.: Fax:

2 Übersicht 1. Der Begriff des Lernens in der Lernpsychologie
2. Gegenüberstellung Lernpsychologie - Maschinelles Lernen 3. Reinforcement Learning 4. Induktives Lernen 5. Das Projekt MAS 6. Schluss NeMeA Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

3 Formen des Lernens in der Lernpsychologie
Reiz-Reaktions-Lernen NeMeA Instrumentelles Lernen Kognitives Lernen 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Planvolles Handeln und Problemlösen Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

4 Formen des Lernens Weiterentwicklung der klassischen Konditionierung (Pawlow) Reize: Durch physikalisch-chemische Außenweltereignisse oder in der Vorstellung gegeben Reaktionen: Emotional-motivational Reiz-Reaktions-Lernen NeMeA Instrumentelles Lernen Kognitives Lernen 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Planvolles Handeln und Problemlösen Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

5 Formen des Lernens Das Verhalten ist das Instrument, das bestimmte Konsequenzen herbeiführt. Verhaltensverstärkung: Verhaltensweisen werden durch die Konsequenzen gelernt, die sie haben. Vier Formen: Positive Verstärkung, negative Verstärkung, Bestrafung, Löschung. Reiz-Reaktions-Lernen NeMeA Instrumentelles Lernen Kognitives Lernen 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Planvolles Handeln und Problemlösen Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

6 Formen des Lernens Reiz-Reaktions-Lernen
Begriffsbildung und Wissenserwerb Eigenschaftsbegriffe (Kategorien) und Erklärungsbegriffe (mit Theorie behaftet) Wissenserwerb durch unmittelbare Erfahrung oder sprachliche Vermitt-lung Informationsverarbeitung sprach-lich-symbolisch, analog oder hand-lungsmäßig NeMeA Instrumentelles Lernen Kognitives Lernen 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Planvolles Handeln und Problemlösen Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

7 Formen des Lernens Reiz-Reaktions-Lernen Instrumentelles Lernen
NeMeA Instrumentelles Lernen Handlungen dienen zum Erreichen von Zielen. Es werden Handlungskonzepte und Handlungsschemata gelernt, sie ergeben zusammen Hand-lungskompetenz. Problemlösen ist erforderlich, wenn Ziele nicht direkt erreichbar sind. Kognitives Lernen 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Planvolles Handeln und Problemlösen Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

8 Gegenüberstellung Lernpsychologie Maschinelles Lernen
NeMeA Reiz-Reaktions-Lernen Instrumentelles Lernen Kognitives Lernen Planvolles Handeln und Problemlösen Reaktives Lernen Reinforcement Learning 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Induktives Lernen Problemlösen und Planen Roboterlernen Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

9 Agenten und künstliche Welten
Agent = künstliches intelligentes System NeMeA +1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss -1 Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

10 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

11 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

12 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

13 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

14 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

15 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

16 +1 -1 Lerneffekt 0.2 1.0 0.2 0.4 0.6 0.8 NeMeA 3. Reinforce- ment
0.2 NeMeA 1.0 0.2 0.4 0.6 0.8 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

17 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

18 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

19 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

20 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

21 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

22 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

23 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

24 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

25 Lernen durch Belohnung
+1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

26 +1 -1 Lerneffekt -0.875 -1.0 -0.125 -0.675 -0.75 -0.375 NeMeA
-0.125 NeMeA -0.375 -0.75 -0.675 -0.875 -1.0 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

27 Prinzip des Reinforcement Learning
j1 j2 j3 U(j1) U(j2) U(j3) U(i) NeMeA 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

28 Lernen aus Beispielen NeMeA 4. Induktives Lernen 1. Lernen
2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

29 Lernen aus Beispielen NeMeA 4. Induktives Lernen 1. Lernen
2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

30 Lernen aus Beispielen NeMeA Fortbewe-gungsart Körper-bedeckung
Form des Mauls Fötusent-wicklung Vogel Möwe Kondor Schmetterling Biene Fledermaus fliegender Fisch Känguru Pinguin Bär Eisvogel Tukan Schnabeltier fliegen nicht fliegen Federn Hornpanzer Fell Schuppen Schnabel kein Schnabel extrauterär uterär ja nein NeMeA 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

31 Entscheidungsbäume Alle NeMeA fliegen nicht fliegen
Möwe Kondor Schmetterling Biene Fledermaus fliegender Fisch Eisvogel Tukan Känguru Pinguin Bär Schnabeltier 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss uterär extra-uterär Schnabel kein Schnabel Schmetterling Biene Fledermaus fliegender Fisch Möwe Kondor Eisvogel Tukan Känguru Bär Pinguin Schnabeltier Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

32 Regeln Gelernte Regeln
Alle Tiere, die fliegen können und einen Schnabel haben, sind Vögel. Manche Tiere, die nicht fliegen können und extrauterären Nachwuchs haben, sind Vögel. NeMeA 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

33 Modellierung und Simulation der Rezeption textueller Information
Das Projekt MAS Modellierung und Simulation der Rezeption textueller Information aus dem Internet NeMeA 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Theoretisches Modell Codierung Validierung Simulations-programm Empirische Ergebnisse Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

34 Menschen und Computer als Lernende und Lehrende
Lehrer Mensch Computer Lerner Mensch Computer NeMeA Schule Tutorsysteme 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Active Learning Consultative Learning Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

35 Active Learning Anwendungsbereich:
Sprach- (Grammatik-) Lernen durch den Computer aus Beispielen Zielsetzung: Effizienzsteigerung beim Lernprozess NeMeA Methoden: Lernen mit Sicherheitswerten Komitee-basiertes Lernen Prinzip: 1. Erstelle mit einer begrenzten Menge von Beispielen einen oder mehrere Klassifika- toren 2. Klassifiziere weitere Beispiele 3. Lege die unsichersten Beispiele dem mensch- lichen Lehrer zur Kommentierung vor 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

36 Consultative Learning
Anwendungsbereich: Sprach- (Grammatik-) Lernen durch den Computer aus Beispielen Zielsetzung: Simulation des Active Learning NeMeA Methoden: Komitee-basiertes Lernen Prinzip: Wie beim Active Learning, aber der menschliche Lehrer wird durch einen Agenten ersetzt. Falls der Lehrer-Agent nicht direkt einen Kom-mentar abgeben kann, versucht er einen solchen durch einen Lernprozess zu ermiteln. Danach bestimmen Lehrer und Lerner gemein-sam den geeignetsten Kommentar. 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

37 Das Projekt MAS Theoretisches Modell Codierung Validierung
Simulations-programm Empirische Ergebnisse NeMeA Active Learning Consultative Learning 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss ? Empirische Ergebnisse Internet Grammar Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

38 Ausblick Was noch geplant ist:
NeMeA 1. Modellierung des Nutzerverhaltens im Projekt Krems. 2. Analyse der im Projekt Krems anfallenden Daten mit maschinellen Verfahren. 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss 3. Generierung von Hypothesen auf Grund der Simulationen. 4. Empirische Überprüfung ermittelter Hypothesen. Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

39 Das war‘s! Noch Fragen, Kienzle? Schluss NeMeA 6. Schluss 1. Lernen
2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Noch Fragen, Kienzle? Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000