Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Lernmodelle und Experimentelle Untersuchungen Motivation Lernmodelle Tests der Lernmodelle in der Literatur Methodische Aspekte Test: Lernen im Gefangenendilemma.

Ähnliche Präsentationen


Präsentation zum Thema: "Lernmodelle und Experimentelle Untersuchungen Motivation Lernmodelle Tests der Lernmodelle in der Literatur Methodische Aspekte Test: Lernen im Gefangenendilemma."—  Präsentation transkript:

1 Lernmodelle und Experimentelle Untersuchungen Motivation Lernmodelle Tests der Lernmodelle in der Literatur Methodische Aspekte Test: Lernen im Gefangenendilemma Schlussbemerkungen Thomas BrennerOktober 2004

2 2 Motivation Wichtigkeit von Lernmodellen: Verhalten ändert sich / Umgebung ändert sich Verständnis für die Dynamik ökonomischen Verhaltens Experimentelle Untersuchung: Psychologie: keine „guten“ Modelle Direkte Untersuchung: Verallgemeinerung ? Test von Lernmodellen: welche Situation ? Viele Situationen: einheitliches Lernmodell ?

3 3 Lernprozesse Psychologisch: Verstärkungslernen (unbewusstes Lernen) Beobachtungslernen (regelbasiertes Lernen) Kognitives Lernen (verstehendes Lernen) Ökonomisch (modellorientiert): Erfahrungsorientiertes Lernen Erwartungsorientiertes Lernen

4 Lernmodelle Erfahrungs- orientiert Erwartungs- orientiert Sonstige unbewusst Reinforcement learning (Roth/Erev vs. Bush/Mosteller) -- regelbasiert- Fictitious play Least-square learning (Bayesian learning) Genetic algorithms Learning direction theory Satisficing verstehend- (Fictitious play) Bayesian learning Mentale Modelle Genetic programming

5 5 Untersuchungen in der Literatur I Einfache Situationen (Markt mit Gleichgewicht): Zufallsverhalten (zero-intelligence) führt bereits zu guter Übereinstimmung mit experimentellen Daten Andere Lernverhalten führen zu ähnlichen Prognosen Wiederholte strategische Interaktionen: Erwartungsorientiertes Lernen ist besser als erfahrungsorientiertes Lernen Beides ist in der Regel besser als Gleichgewicht Realität zwischen beiden

6 6 Untersuchungen in der Literatur II Komplexe Situationen: Genetische Algorithmen weisen einen gewissen Erfolg bei der Übereinstimmung mit Experimenten auf Interpretation von Zeit und Verhalten ist jedoch schwierig Andere Lernprozesse: Keine Tests zu Bayesian und least-square Lernen Learning direction theory wird in der Regel bestätigt, macht aber schwache Aussagen

7 7 Methodische Aspekte I Üblich: Vergleiche von Lernmodellen Eine Situation oder bestimmter Situationstyp Durchschnittliches Verhalten oder Wahrscheinlichkeit wird mit Vorhersage verglichen Erreichtes: Gewisse Lernprozesse besser für bestimmte Situationen Genetische Algorithmen oft geeignet Gründe und klare Klassifikation fehlen

8 8 Methodische Aspekte II Fragen: Gibt es ein einheitliches Lernmodell und ist es sinnvoll ? Populationsebene oder Individuum ? Wettlauf von Modellen oder Klassifikation von Umständen ? Parameteranpassungen ? Beschreibung oder Erklärung ?

9 9 Gefangenendilemma Spiel: Interaktion: Feste Paare 25 wiederholte Interaktionen Zeilenspieler / Spaltenspieler AB A3 / 30 / 5 B5 / 01 / 1

10 10 Verstärkungslernen (Reinforcement learning) Idee: Erfolgreiche Aktionen werden in der Zukunft häufiger gewählt Erfolglose Aktionen werden in der Zukunft seltener gewählt Mathematik: p i (t+1) = p i (t) +   (t) (1-p i (t)) falls  (t) > 0 p i (t+1) = p i (t) +   (t) p i (t) falls  (t) < 0

11 11 Kognitives Lernmodell: Erwartungen 1. Ebene: Erwartung I: eigenes Verhalten beeinflusst Gegenüber nicht 2. Ebene: Erwartung E: Gegenüber kann ausgenutzt werden Erwartung C: Kooperation kann erreicht werden Erwartung D: Gegenüber wird immer defektieren

12 12 Kognitives Modell: Dynamik Entfernung von Erwartungen: Erwartungen verschwinden mit einer bestimmten Wahrscheinlichkeit, falls sie widerlegt werden Neue Erwartungen: Variation: Zufällig entstehen neue Erwartungen Kommunikation: hier nicht relevant Notwendigkeit: falls keine Erwartung übrig ist

13 13 Experimentelle Daten Experiment: London 10 Teilnehmer 30 Interaktionen Vollständige Information Analysierte Daten: 10 Verhaltenssequenzen von 25 Runden mit einem gegebenen Verhalten des Gegenübers

14 14 Analyse Modelltest: Jeder Teilnehmer getrennt Monte Carlo Ansatz für Parameter Likelihood der Übereinstimmung

15 Resultate: Likelihood-Werte Teilnehm.Kognives LernenReinforcementTrembling Hand 10,02170, , ,04130,04460, ,2440, , ,2440, , ,1640,06550, ,03270, , ,002130, , , , , , , , , ,000940

16 16 Schlussbemerkungen Zusammenfassung: Verhalten durch Lernen geprägt Individuen verhalten sich unterschiedlich Experimente für Verständnis und Modellierung hilfreich Ausblick: Klassifikation von Situationen Weiterentwicklung von Modellen Beziehung zwischen Situationen und Modellen


Herunterladen ppt "Lernmodelle und Experimentelle Untersuchungen Motivation Lernmodelle Tests der Lernmodelle in der Literatur Methodische Aspekte Test: Lernen im Gefangenendilemma."

Ähnliche Präsentationen


Google-Anzeigen