Lernmodelle und Experimentelle Untersuchungen Motivation Lernmodelle Tests der Lernmodelle in der Literatur Methodische Aspekte Test: Lernen im Gefangenendilemma Schlussbemerkungen Oktober 2004 Thomas Brenner

Motivation Wichtigkeit von Lernmodellen: Verhalten ändert sich / Umgebung ändert sich Verständnis für die Dynamik ökonomischen Verhaltens Experimentelle Untersuchung: Psychologie: keine „guten“ Modelle Direkte Untersuchung: Verallgemeinerung ? Test von Lernmodellen: welche Situation ? Viele Situationen: einheitliches Lernmodell ? 2

Lernprozesse Psychologisch: Verstärkungslernen (unbewusstes Lernen) Beobachtungslernen (regelbasiertes Lernen) Kognitives Lernen (verstehendes Lernen) Ökonomisch (modellorientiert): Erfahrungsorientiertes Lernen Erwartungsorientiertes Lernen 3

Erfahrungs- orientiert Erwartungs- orientiert Lernmodelle Erfahrungs- orientiert Erwartungs- orientiert Sonstige unbewusst Reinforcement learning (Roth/Erev vs. Bush/Mosteller) - regelbasiert Fictitious play Least-square learning (Bayesian learning) Genetic algorithms Learning direction theory Satisficing verstehend (Fictitious play) Bayesian learning Mentale Modelle Genetic programming

Untersuchungen in der Literatur I Einfache Situationen (Markt mit Gleichgewicht): Zufallsverhalten (zero-intelligence) führt bereits zu guter Übereinstimmung mit experimentellen Daten Andere Lernverhalten führen zu ähnlichen Prognosen Wiederholte strategische Interaktionen: Erwartungsorientiertes Lernen ist besser als erfahrungsorientiertes Lernen Beides ist in der Regel besser als Gleichgewicht Realität zwischen beiden 5

Untersuchungen in der Literatur II Komplexe Situationen: Genetische Algorithmen weisen einen gewissen Erfolg bei der Übereinstimmung mit Experimenten auf Interpretation von Zeit und Verhalten ist jedoch schwierig Andere Lernprozesse: Keine Tests zu Bayesian und least-square Lernen Learning direction theory wird in der Regel bestätigt, macht aber schwache Aussagen 6

Methodische Aspekte I Üblich: Vergleiche von Lernmodellen Eine Situation oder bestimmter Situationstyp Durchschnittliches Verhalten oder Wahrscheinlichkeit wird mit Vorhersage verglichen Erreichtes: Gewisse Lernprozesse besser für bestimmte Situationen Genetische Algorithmen oft geeignet Gründe und klare Klassifikation fehlen 7

Methodische Aspekte II Fragen: Gibt es ein einheitliches Lernmodell und ist es sinnvoll ? Populationsebene oder Individuum ? Wettlauf von Modellen oder Klassifikation von Umständen ? Parameteranpassungen ? Beschreibung oder Erklärung ? 8

Zeilenspieler / Spaltenspieler Gefangenendilemma Spiel: Zeilenspieler / Spaltenspieler A B 3 / 3 0 / 5 5 / 0 1 / 1 Interaktion: Feste Paare 25 wiederholte Interaktionen 9

Verstärkungslernen (Reinforcement learning) Idee: Erfolgreiche Aktionen werden in der Zukunft häufiger gewählt Erfolglose Aktionen werden in der Zukunft seltener gewählt Mathematik: pi(t+1) = pi(t) +  (t) (1-pi(t)) falls (t) > 0 pi(t+1) = pi(t) +  (t) pi(t) falls (t) < 0 10

Kognitives Lernmodell: Erwartungen 1. Ebene: Erwartung I: eigenes Verhalten beeinflusst Gegenüber nicht 2. Ebene: Erwartung E: Gegenüber kann ausgenutzt werden Erwartung C: Kooperation kann erreicht werden Erwartung D: Gegenüber wird immer defektieren 11

Kognitives Modell: Dynamik Entfernung von Erwartungen: Erwartungen verschwinden mit einer bestimmten Wahrscheinlichkeit, falls sie widerlegt werden Neue Erwartungen: Variation: Zufällig entstehen neue Erwartungen Kommunikation: hier nicht relevant Notwendigkeit: falls keine Erwartung übrig ist 12

Experimentelle Daten Experiment: London 10 Teilnehmer 30 Interaktionen Vollständige Information Analysierte Daten: 10 Verhaltenssequenzen von 25 Runden mit einem gegebenen Verhalten des Gegenübers 13

Analyse Modelltest: Jeder Teilnehmer getrennt Monte Carlo Ansatz für Parameter Likelihood der Übereinstimmung 14

Resultate: Likelihood-Werte Teilnehm. Kognives Lernen Reinforcement Trembling Hand 1 0,0217 0,000169 0,000000 2 0,0413 0,0446 0,0150 3 0,244 0,000002 4 0,000506 0,000940 5 0,164 0,0655 6 0,0327 0,000121 7 0,00213 0,000956 8 0,000005 0,000013 0,000001 9 10 0,000781 0,000739

Schlussbemerkungen Zusammenfassung: Verhalten durch Lernen geprägt Individuen verhalten sich unterschiedlich Experimente für Verständnis und Modellierung hilfreich Ausblick: Klassifikation von Situationen Weiterentwicklung von Modellen Beziehung zwischen Situationen und Modellen 16