Ringvorlesung der Forschergruppe „Neue Medien im Alltag“ Lernende Computer Werner Dilger NeMeA Technische Universität Chemnitz Fakultät für Informatik / Professur KI Prof. Dr. Werner Dilger Tel.: 0371-531-1529 Fax: 0371-531-1465 E-Mail: dilger@informatik.tu-chemnitz.de

Übersicht 1. Der Begriff des Lernens in der Lernpsychologie 2. Gegenüberstellung Lernpsychologie - Maschinelles Lernen 3. Reinforcement Learning 4. Induktives Lernen 5. Das Projekt MAS 6. Schluss NeMeA Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Formen des Lernens in der Lernpsychologie Reiz-Reaktions-Lernen NeMeA Instrumentelles Lernen Kognitives Lernen 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Planvolles Handeln und Problemlösen Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Formen des Lernens Weiterentwicklung der klassischen Konditionierung (Pawlow) Reize: Durch physikalisch-chemische Außenweltereignisse oder in der Vorstellung gegeben Reaktionen: Emotional-motivational Reiz-Reaktions-Lernen NeMeA Instrumentelles Lernen Kognitives Lernen 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Planvolles Handeln und Problemlösen Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Formen des Lernens Das Verhalten ist das Instrument, das bestimmte Konsequenzen herbeiführt. Verhaltensverstärkung: Verhaltensweisen werden durch die Konsequenzen gelernt, die sie haben. Vier Formen: Positive Verstärkung, negative Verstärkung, Bestrafung, Löschung. Reiz-Reaktions-Lernen NeMeA Instrumentelles Lernen Kognitives Lernen 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Planvolles Handeln und Problemlösen Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Formen des Lernens Reiz-Reaktions-Lernen Begriffsbildung und Wissenserwerb Eigenschaftsbegriffe (Kategorien) und Erklärungsbegriffe (mit Theorie behaftet) Wissenserwerb durch unmittelbare Erfahrung oder sprachliche Vermitt-lung Informationsverarbeitung sprach-lich-symbolisch, analog oder hand-lungsmäßig NeMeA Instrumentelles Lernen Kognitives Lernen 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Planvolles Handeln und Problemlösen Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Formen des Lernens Reiz-Reaktions-Lernen Instrumentelles Lernen NeMeA Instrumentelles Lernen Handlungen dienen zum Erreichen von Zielen. Es werden Handlungskonzepte und Handlungsschemata gelernt, sie ergeben zusammen Hand-lungskompetenz. Problemlösen ist erforderlich, wenn Ziele nicht direkt erreichbar sind. Kognitives Lernen 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Planvolles Handeln und Problemlösen Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Gegenüberstellung Lernpsychologie Maschinelles Lernen NeMeA Reiz-Reaktions-Lernen Instrumentelles Lernen Kognitives Lernen Planvolles Handeln und Problemlösen Reaktives Lernen Reinforcement Learning 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Induktives Lernen Problemlösen und Planen Roboterlernen Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Agenten und künstliche Welten Agent = künstliches intelligentes System NeMeA +1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss -1 Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

+1 -1 Lerneffekt 0.2 1.0 0.2 0.4 0.6 0.8 NeMeA 3. Reinforce- ment 0.2 NeMeA 1.0 0.2 0.4 0.6 0.8 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen durch Belohnung +1 NeMeA -1 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

+1 -1 Lerneffekt -0.875 -1.0 -0.125 -0.675 -0.75 -0.375 NeMeA -0.125 NeMeA -0.375 -0.75 -0.675 -0.875 -1.0 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Prinzip des Reinforcement Learning j1 j2 j3 U(j1) U(j2) U(j3) U(i) NeMeA 1. Lernen 2. Gegenüber- stellung 3. Reinforce- ment Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen aus Beispielen NeMeA 4. Induktives Lernen 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen aus Beispielen NeMeA 4. Induktives Lernen 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Lernen aus Beispielen NeMeA Fortbewe-gungsart Körper-bedeckung Form des Mauls Fötusent-wicklung Vogel Möwe Kondor Schmetterling Biene Fledermaus fliegender Fisch Känguru Pinguin Bär Eisvogel Tukan Schnabeltier fliegen nicht fliegen Federn Hornpanzer Fell Schuppen Schnabel kein Schnabel extrauterär uterär ja nein NeMeA 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Entscheidungsbäume Alle NeMeA fliegen nicht fliegen Möwe Kondor Schmetterling Biene Fledermaus fliegender Fisch Eisvogel Tukan Känguru Pinguin Bär Schnabeltier 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss uterär extra-uterär Schnabel kein Schnabel Schmetterling Biene Fledermaus fliegender Fisch Möwe Kondor Eisvogel Tukan Känguru Bär Pinguin Schnabeltier Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Regeln Gelernte Regeln Alle Tiere, die fliegen können und einen Schnabel haben, sind Vögel. Manche Tiere, die nicht fliegen können und extrauterären Nachwuchs haben, sind Vögel. NeMeA 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Modellierung und Simulation der Rezeption textueller Information Das Projekt MAS Modellierung und Simulation der Rezeption textueller Information aus dem Internet NeMeA 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Theoretisches Modell Codierung Validierung Simulations-programm Empirische Ergebnisse Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Menschen und Computer als Lernende und Lehrende Lehrer Mensch Computer Lerner Mensch Computer NeMeA Schule Tutorsysteme 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Active Learning Consultative Learning Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Active Learning Anwendungsbereich: Sprach- (Grammatik-) Lernen durch den Computer aus Beispielen Zielsetzung: Effizienzsteigerung beim Lernprozess NeMeA Methoden: Lernen mit Sicherheitswerten Komitee-basiertes Lernen Prinzip: 1. Erstelle mit einer begrenzten Menge von Beispielen einen oder mehrere Klassifika- toren 2. Klassifiziere weitere Beispiele 3. Lege die unsichersten Beispiele dem mensch- lichen Lehrer zur Kommentierung vor 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Consultative Learning Anwendungsbereich: Sprach- (Grammatik-) Lernen durch den Computer aus Beispielen Zielsetzung: Simulation des Active Learning NeMeA Methoden: Komitee-basiertes Lernen Prinzip: Wie beim Active Learning, aber der menschliche Lehrer wird durch einen Agenten ersetzt. Falls der Lehrer-Agent nicht direkt einen Kom-mentar abgeben kann, versucht er einen solchen durch einen Lernprozess zu ermiteln. Danach bestimmen Lehrer und Lerner gemein-sam den geeignetsten Kommentar. 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Das Projekt MAS Theoretisches Modell Codierung Validierung Simulations-programm Empirische Ergebnisse NeMeA Active Learning Consultative Learning 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss ? Empirische Ergebnisse Internet Grammar Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Ausblick Was noch geplant ist: NeMeA 1. Modellierung des Nutzerverhaltens im Projekt Krems. 2. Analyse der im Projekt Krems anfallenden Daten mit maschinellen Verfahren. 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss 3. Generierung von Hypothesen auf Grund der Simulationen. 4. Empirische Überprüfung ermittelter Hypothesen. Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000

Das war‘s! Noch Fragen, Kienzle? Schluss NeMeA 6. Schluss 1. Lernen 2. Gegenüber- stellung 3. Reinforcement Learning 4. Induktives Lernen 5. Projekt MAS 6. Schluss Noch Fragen, Kienzle? Ringvorlesung der Forschergruppe „Neue Medien im Alltag“, TU Chemnitz, Sommersemster 2000