Lernmodelle und Experimentelle Untersuchungen

Präsentation zum Thema: "Lernmodelle und Experimentelle Untersuchungen"—  Präsentation transkript:

1 Lernmodelle und Experimentelle Untersuchungen
Motivation Lernmodelle Tests der Lernmodelle in der Literatur Methodische Aspekte Test: Lernen im Gefangenendilemma Schlussbemerkungen Oktober 2004 Thomas Brenner

2 Motivation Wichtigkeit von Lernmodellen:
Verhalten ändert sich / Umgebung ändert sich Verständnis für die Dynamik ökonomischen Verhaltens Experimentelle Untersuchung: Psychologie: keine „guten“ Modelle Direkte Untersuchung: Verallgemeinerung ? Test von Lernmodellen: welche Situation ? Viele Situationen: einheitliches Lernmodell ? 2

3 Lernprozesse Psychologisch: Verstärkungslernen (unbewusstes Lernen)
Beobachtungslernen (regelbasiertes Lernen) Kognitives Lernen (verstehendes Lernen) Ökonomisch (modellorientiert): Erfahrungsorientiertes Lernen Erwartungsorientiertes Lernen 3

4 Erfahrungs- orientiert Erwartungs- orientiert
Lernmodelle Erfahrungs- orientiert Erwartungs- orientiert Sonstige unbewusst Reinforcement learning (Roth/Erev vs. Bush/Mosteller) - regelbasiert Fictitious play Least-square learning (Bayesian learning) Genetic algorithms Learning direction theory Satisficing verstehend (Fictitious play) Bayesian learning Mentale Modelle Genetic programming

5 Untersuchungen in der Literatur I
Einfache Situationen (Markt mit Gleichgewicht): Zufallsverhalten (zero-intelligence) führt bereits zu guter Übereinstimmung mit experimentellen Daten Andere Lernverhalten führen zu ähnlichen Prognosen Wiederholte strategische Interaktionen: Erwartungsorientiertes Lernen ist besser als erfahrungsorientiertes Lernen Beides ist in der Regel besser als Gleichgewicht Realität zwischen beiden 5

6 Untersuchungen in der Literatur II
Komplexe Situationen: Genetische Algorithmen weisen einen gewissen Erfolg bei der Übereinstimmung mit Experimenten auf Interpretation von Zeit und Verhalten ist jedoch schwierig Andere Lernprozesse: Keine Tests zu Bayesian und least-square Lernen Learning direction theory wird in der Regel bestätigt, macht aber schwache Aussagen 6

7 Methodische Aspekte I Üblich: Vergleiche von Lernmodellen
Eine Situation oder bestimmter Situationstyp Durchschnittliches Verhalten oder Wahrscheinlichkeit wird mit Vorhersage verglichen Erreichtes: Gewisse Lernprozesse besser für bestimmte Situationen Genetische Algorithmen oft geeignet Gründe und klare Klassifikation fehlen 7

8 Methodische Aspekte II
Fragen: Gibt es ein einheitliches Lernmodell und ist es sinnvoll ? Populationsebene oder Individuum ? Wettlauf von Modellen oder Klassifikation von Umständen ? Parameteranpassungen ? Beschreibung oder Erklärung ? 8

9 Zeilenspieler / Spaltenspieler
Gefangenendilemma Spiel: Zeilenspieler / Spaltenspieler A B 3 / 3 0 / 5 5 / 0 1 / 1 Interaktion: Feste Paare 25 wiederholte Interaktionen 9

10 Verstärkungslernen (Reinforcement learning)
Idee: Erfolgreiche Aktionen werden in der Zukunft häufiger gewählt Erfolglose Aktionen werden in der Zukunft seltener gewählt Mathematik: pi(t+1) = pi(t) +  (t) (1-pi(t)) falls (t) > 0 pi(t+1) = pi(t) +  (t) pi(t) falls (t) < 0 10

11 Kognitives Lernmodell: Erwartungen
1. Ebene: Erwartung I: eigenes Verhalten beeinflusst Gegenüber nicht 2. Ebene: Erwartung E: Gegenüber kann ausgenutzt werden Erwartung C: Kooperation kann erreicht werden Erwartung D: Gegenüber wird immer defektieren 11

12 Kognitives Modell: Dynamik
Entfernung von Erwartungen: Erwartungen verschwinden mit einer bestimmten Wahrscheinlichkeit, falls sie widerlegt werden Neue Erwartungen: Variation: Zufällig entstehen neue Erwartungen Kommunikation: hier nicht relevant Notwendigkeit: falls keine Erwartung übrig ist 12

13 Experimentelle Daten Experiment: London 10 Teilnehmer 30 Interaktionen
Vollständige Information Analysierte Daten: 10 Verhaltenssequenzen von 25 Runden mit einem gegebenen Verhalten des Gegenübers 13

14 Analyse Modelltest: Jeder Teilnehmer getrennt
Monte Carlo Ansatz für Parameter Likelihood der Übereinstimmung 14

15 Resultate: Likelihood-Werte
Teilnehm. Kognives Lernen Reinforcement Trembling Hand 1 0,0217 0,000169 0,000000 2 0,0413 0,0446 0,0150 3 0,244 0,000002 4 0,000506 0,000940 5 0,164 0,0655 6 0,0327 0,000121 7 0,00213 0,000956 8 0,000005 0,000013 0,000001 9 10 0,000781 0,000739

16 Schlussbemerkungen Zusammenfassung: Verhalten durch Lernen geprägt
Individuen verhalten sich unterschiedlich Experimente für Verständnis und Modellierung hilfreich Ausblick: Klassifikation von Situationen Weiterentwicklung von Modellen Beziehung zwischen Situationen und Modellen 16