Abschlussreferat Bedeutung der Hierarchie von Lerninhalten für Game Based Learning 602.966 ES Forschungsmethodik III O. Univ.-Prof. Dr. Dietrich Albert 20.01.2009 Gruppe 6 Neururer Cornelia cornelia.neururer@edu.uni-graz.at Plentner Georg plentner@edu.uni-graz.at Prietl Verena prietlv@edu.uni-graz.at

Inhalt Theoretischer Hintergrund Ableitung der Fragestellung und Hypothese Methode Ergebnisse Diskussion Verständnisfragen Literatur FM3 Abschlussreferat

Game Based Learning Definition Kennzeichen „guter Computerspiele“ „Die Anwendung bildschirm-, computer- oder internetbasierten Spielen zu Lehr- und Lernzwecken“ (e-teaching, 2008) Kennzeichen „guter Computerspiele“ Probleme sind vorstrukturiert Abgestufte Levels (Schwan, 2006) FM3 Abschlussreferat

Wissensraumtheorie Strukturierung eines Wissensbereiches durch Voraussetzungsbeziehungen Von Jean-Paul Doignon & Jean-Claude Falmagne 1985 entwickelt Adaptive Wissensdiagnose Ökonomische Testung (Hockemeyer, 2002) FM3 Abschlussreferat

Wissensraumtheorie Wissensbereich (Knowledge Domain) Endliche, nichtleere Menge Q von Aufgaben Aufgaben können gelöst oder nicht gelöst werden (dichotom) (Falmagne et al., 1990) FM3 Abschlussreferat

Wissensraumtheorie Prerequisite Relation Annahme von Abhängigkeiten zwischen Aufgaben eines Wissensbereiches Q  Prerequisite Relations Innerhalb der Menge Q als binäre Relation ≤ a ≤ b… Lösung der Aufgabe b beinhaltet die Lösung der Aufgabe a reflexiv, transitiv  Quasiordnung antisymmetrisch  Partialordnung (Falmagne et al., 1990) FM3 Abschlussreferat

Wissensraumtheorie Beispiel: Q = {a, b, c, d, e} a) 378 x 605 = ? b) 58.7 x 0.94 = ? c) 1/2 x 5/6 = ? d) What is 30% of 34? e) Gwendolyn is 3/4 as old as Rebecca. Rebecca is 2/5 as old as Edwin. Edwin is 20 years old. How old is Gwendolyn? (Falmagne et al., 1990) FM3 Abschlussreferat

Wissensraumtheorie Wissenszustand (Knowledge State) Teilmenge K von Aufgaben aus Q, die gelöst werden können 2n mögliche Wissenszustände {a, b, c} Í Q  möglicher Wissenszustand {b, c, d} Í Q  kein möglicher Wissenszustand (Falmagne et al., 1990) FM3 Abschlussreferat

Wissensraumtheorie Wissensstruktur (Knowledge Structure) Sammlung K von Wissenszuständen innerhalb Q  Wissensstruktur K = { { } , {a}, {c}, {a, c}, {a, b}, {a, b, c}, {a, b, d}, {a, b, c, e}, {a, b, c, d}, Q} Eigenschaften: abgeschlossen bezüglich Mengenvereinigung und Mengendurchschnitt K, K’ einer Wissensstruktur  K È K’ und K  Ç K’  Wissenszustände der Wissensstruktur (Falmagne et al., 1990) FM3 Abschlussreferat

Wissensraumtheorie Methoden zur Erfassung von Wissensstrukturen Analyse erhobener Daten Analyse von Curricula und Didaktik Analyse von Anforderungen Analyse Kompetenz und Performanz ExpertInnenbefragung (Albert & Kaluscha, 1997) FM3 Abschlussreferat

Wissensraumtheorie Überprüfung der Validität einer Wissensstruktur Correlation Agreement Coefficient (CA) Distance Agreement Coefficient (DA) Diskrepanz Index (DI) Analyse von Lösungshäufigkeiten FM3 Abschlussreferat

Wissensraumtheorie Correlation Agreement Coefficient (CA) Überprüfung, welche der „konkurrierenden“ Strukturen mehr mit den empirischen Daten übereinstimmt Vergleich der beobachteten Korrelationen zwischen den Aufgaben mit den erwarteten Korrelationen Je höher der Wert, desto besser die Struktur und desto besser passt die Struktur zu den Daten (Van Leeuwe,1974; aus http://css.uni-graz.at/projects/CbKSTCourse/release/) FM3 Abschlussreferat

Wissensraumtheorie Distance Agreement Coefficient (DA) Vergleich der empirisch erhaltenen Antwortmustern mit den Zuständen des Wissensraums Gesucht wird die „minimale symmetrische Distanz“ dmax = Q/ 2 Q…Anzahl der Aufgaben (Schrepp,1999; aus http://css.uni-graz.at/projects/CbKSTCourse/release/) Diskrepanz Index durchschnittliche symmetrische Distanzen Je geringer mittlere Distanz, desto mehr Übereinstimmung (Kambouri et al., 1994; aus http://css.uni-graz.at/projects/CbKSTCourse/release/) FM3 Abschlussreferat

Wissensraumtheorie Analyse der Lösungshäufigkeiten (relativ und absolut) Codierung: 1 = Aufgabe gelöst 0 = Aufgabe nicht gelöst Aufgabennummer 1 2 3 4 5 …….. Relative Häufigkeit ? Absolute Häufigkeit ?% (Schrepp,2001; aus http://css.uni-graz.at/projects/CbKSTCourse/release/) FM3 Abschlussreferat

Wissensraumtheorie Studie: „An empirical Test of a Process Model for Letter Series Completion Problems“ (Martin Schrepp,1999) Verbindung zwischen den Annahmen der Wissensraumtheorie und dem Prozessmodell, welches dem Lösen/Fortsetzen von Buchstabenreihenfolgen (LCS- Problemen), zugrunde liegt Empirische Überprüfung möglich, indem man Wissensstruktur erstellt und mit Antwortmuster vergleicht FM3 Abschlussreferat

Wissensraumtheorie 20 Buchstabenreihenfolgen Erstellung einer Surmise Relation mit aufsteigendem Schwierigkeitsgrad aufgrund der Annahmen des Prozess- modells Versuchspersonen: 51 (25 Frauen, 26 Männer) Aufgabe: - Fortsetzen der Buchstabenabfolge um 3 weitere Buchstaben FM3 Abschlussreferat

Wissensraumtheorie Ergebnisse: Durchschnittliche Lösungshäufigkeit: 81% Berechnung der symmetrischen Distanzen dmax= 10 Durchschnittliche Distanz: 0,92  Ergebnisse zeigen, dass die aus dem Prozessmodell hergeleitete Surmise Relation fähig ist die Schwierigkeit von Buchstabenreihenfolgen ausreichend vorherzusagen. FM3 Abschlussreferat

Ableitung der Fragestellung Kennzeichen „guter Computerspiele“ (Schwan, 2006) Probleme sind vorstrukturiert abgestufte Levels Wissensraumtheorie Hierarchische Strukturierung eines Wissensbereiches (Falmagne et al., 1990) Empirische Überprüfung von Wissensstrukturen (http://css.uni-graz.at/projects/CbKSTCourse/release/) FM3 Abschlussreferat

Fragestellung Gibt es einen Unterschied bezüglich der Lernleistung zwischen Personen, die nach der vorgegebenen Reihenfolge der Levels von spielbasierten Lernprogrammen lernen und Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen? FM3 Abschlussreferat

Forschungshypothesen Ho: Personen, die nach der vorgegebenen Reihenfolge der Levels eines spielbasierten Lernprogramms lernen, zeigen keine bessere Lernleistung als Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen. FM3 Abschlussreferat

Forschungshypothesen H1: Personen, die nach der vorgegebenen Reihenfolge der Levels eines spielbasierten Lernprogramms lernen, zeigen eine bessere Lernleistung als Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen. FM3 Abschlussreferat

Methode FM3 Abschlussreferat

Stichprobe Rekrutierung - Bekanntenkreis, PsychologiestudentInnen Umfang 24 Personen: 12 Frauen und 12 Männer Art der Stichprobe Maturaniveau zwischen 18 und 40 Jahren (M=25,58; SD=3,17) Untersuchungsort PC-Raum, am Institut für Psychologie, KFU Graz Entlohnung Versuchsschein FM3 FM3 Planungsreferat Abschlussreferat 23

Material Testheft Demographische Daten und Screening Instruktion Strukturiertes Interview Wissenstest FM3 Abschlussreferat

Material Testheft Screening Wie gut kennen Sie die Namen der Regionen (und deren Hauptstädte) Mexikos? Gar nicht kaum mittelmäßig ziemlich Außerordentlich gut FM3 Abschlussreferat

Material Testheft Wissenstest Acht Fragen in Papier-Bleistift-Form aus dem Lernprogramm Sheppard Hierarchische Struktur der Fragen Level 1: Fünf Fragen Level 2 bis 4: Jeweils eine Frage FM3 Abschlussreferat

Material Testheft Strukturiertes Interview „Wie ist es Ihnen ergangen?“ „Hat Ihnen das Lernspiel Spaß gemacht?“ „Wie schätzen Sie die Schwierigkeit der Aufgaben ein?“ „Wäre eine andere Reihenfolge der Aufgaben leichter gewesen? Wenn ja, welche?“ FM3 Abschlussreferat

Material Apparatur 10 PCs (Pentium 4, 160 GB HD; 1 GB RAM) Windows Xp 17 Zoll TFT- Bildschirme (1280 x 1024 Pixel) Internetzugang (Mozilla Firefox) FM3 Abschlussreferat

Material Software „Sheppard Software“ verschiedene Online- Lern- Spiele Themen: Chemie, Mathematik… Geographie  Mexiko (Hauptstädte) (http://www.sheppardsoftware.com/) FM3 Abschlussreferat

Material Software Tutorial: Aufgabe des/der SpielerIn ist es die Länder auf der Karte anzuklicken Der/die SpielerIn erfährt den Namen der Hauptstadt und weitere Informationen zum zugehörigen Land (http://www.sheppardsoftware.com) FM3 Abschlussreferat

Material Software Nach dem Tutorial folgen verschiedene Levels, die nach aufsteigender Schwierigkeit geordnet sind Beginner: „Find and Click by Region“ Intermediate: „Find the correct capital for the country“ Expert: „Find the correct country for the capital“ Cartographer: „Type the first three letters of the name of the country's capital (http://www.sheppardsoftware.com/) FM3 Abschlussreferat

Untersuchungsplan UV: Darbietung der Levels AV: Antwortmuster Vorgegebene Reihenfolge der Levels Zufällig gewählte Reihenfolge der Levels AV: Antwortmuster SV: Vorwissen (Ausschluss) FM3 Abschlussreferat

Untersuchungsplan Vorgegebene Reihenfolge der Levels Tutorial Beginner Intermediate Expert Cartographer Zufällig gewählte Reihenfolge der Levels FM3 Abschlussreferat

Auswertungsmethoden ePsyt ePsyt- electronic Psychology tools Online verfügbar Institut für Psychologie  Arbeitsbereich Allgemeine Psychologie  Knowledge Space Theory: Punkt „Software“ – „ePsyt“ Auf Grundlage der Wissensraumtheorie entwickelt (http://wundt.uni-graz.at/epsyt/epsyt/index.php) FM3 Abschlussreferat

Auswertungsmethoden ePsyt Tools für Konstruktion eines Wissensraumes (Constr) Berechnen der symmetrischen Distanzen (distance) Berechnen des Correlation Agreement Coefficient u.a (http://wundt.uni-graz.at/epsyt/epsyt/index.php) FM3 Abschlussreferat

Untersuchungsablauf * Tutorial: 5 min. Bearbeitung der Levels: 15 min Gruppe- srukturiert Begrüßung DatenblattScreening Instruktion strukt. Spiel Strukturiertes Interview Wissenstest Verabsch. unstrukturiet unstrukt. ca. 5 min 20 min* 10 min * Tutorial: 5 min. Bearbeitung der Levels: 15 min Dauer gesamt: ca. 45 min FM3 Abschlussreferat

Ergebnisse FM3 Abschlussreferat

Ergebnisse Lösungshäufigkeiten Lösungshäufigkeiten strukturiert n=12 Aufgabe 1 2 3 4 5 6 7 8 Ges. Absolute Häufigkeit 30 Relative Häufigkeit 33,3 58,3 16,7 41,7 8,3 31,3 FM3 Abschlussreferat

Ergebnisse Lösungshäufigkeiten Lösungshäufigkeiten unstrukturiert n=12 Aufgabe 1 2 3 4 5 6 7 8 Ges. Absolute Häufigkeit 11 10 41 Relative Häufigkeit 50,0 91,7 83,3 16,7 42,7 FM3 Abschlussreferat

Ergebnisse Lösungshäufigkeiten Strukturiert vs. Unstrukturiert FM3 Abschlussreferat

Ergebnisse Basis Erstellen der Basis des Wissensraums Basiszustände: (a), (b), (c), (d), (e), (a,b,c,d,e,f), (a,b,c,d,e,f,g), (a,b,c,d,e,f,g,h) FM3 Abschlussreferat

Ergebnisse Basis Basis des Wissensraums 8  Anzahl der Aufgaben 8  Anzahl der Basiszustände 10000000 01000000 00100000 00010000 00001000 11111100 11111110 11111111 FM3 Abschlussreferat

Ergebnisse Wissensraum Erstellung des Wissensraums mittels des ePsyt-Tools „constr“ aufgrund der Basis Es ergeben sich 35 mögliche Wissenszustände Vergleich der Antwortmuster der Vpn mit den Zuständen des Wissensraums! Anwendung des Tools „distance“ FM3 Abschlussreferat

FM3 Abschlussreferat

Ergebnisse Diskrepanzindex- strukturiert Distanz Häufigkeit 6 1 Durchschnittliche Distanz: 0,5 Standardabweichung: 0,5 FM3 Abschlussreferat

FM3 Abschlussreferat

Ergebnisse Diskrepanzindex- unstrukturiert Distanz Häufigkeit 5 1 6 2 Durchschnittliche Distanz: 0,6667 Standardabweichung: 0,6236 FM3 Abschlussreferat

Ergebnisse Simulation Vergleich der Antwortmuster mit gesamten Wissensraum (28 mögliche Wissenszustände) Strukturiert: Distanz = 1,417 SD = 1,255 Unstrukturiert: Distanz = 2,417 SD = 1,32 FM3 Abschlussreferat

Ergebnisse Simulation Vergleich der Antwortmuster mit einem zufällig konstruierten Wissensraum Strukturiert: Distanz = 1,417 SD = 0,493 Unstrukturiert: Distanz = 1,5 SD = 0,5 FM3 Abschlussreferat

Ergebnisse Reproduzierbarkeitskoeffizient Reproduzierbarkeitskoeffizient nach Guttman Gibt den Prozentsatz der Daten an, der durch das Modell erklärt werden kann Rep = 1 - [d / (a * n)] d… Anzahl der Fehler a… Anzahl der Items n… Anzahl der VPn/Gruppe ≥ 0,9  modellkonform Bortz & Döring (2003) FM3 Abschlussreferat

Ergebnisse Reproduzierbarkeitskoeffizient Strukturiert: 1-[6/(8*12)] = 0,9375 Unstrukturiert: 1-[8/(8*12)] = 0,9167 FM3 Abschlussreferat

Ergebnisse Strukturiertes Interview Wie ist es Ihnen ergangen? Hat Ihnen das Lernspiel Spaß gemacht? Strukturiert Unstrukturiert gut mittel schlecht 25% 33.3% 41.7% 58.3% 16.7% Strukturiert Unstrukturiert ja mittel nein 66.7% 16.7% 16,7% FM3 Abschlussreferat

Ergebnisse Strukturiertes Interview Wie schätzen Sie die Schwierigkeit ein? Wäre eine andere Reihenfolge leichter gewesen? Strukturiert Unstrukturiert leicht mittel schwer 8.3% 33.3% 58.3% 0% 66.7% Strukturiert Unstrukturiert ja nein 8.3% 91.7% 83.3% 16.7% FM3 Abschlussreferat

Diskussion FM3 Abschlussreferat

Diskussion Zusammenfassung der Ergebnisse Diskrepanzindex: mittlere symmetrische Distanz Strukturiert: 0,5 Unstrukturiert: 0,667  Antwortmuster „strukturiert“: mehr Ähnlichkeit mit Wissensraum Reproduzierbarkeitskoeffizient nach Guttman Strukturiert: 0,9375 Unstrukturiert: 0,9167  Beide Bedingungen modellkonform FM3 Abschlussreferat

Diskussion Zusammenfassung der Ergebnisse Relative Lösungshäufigkeiten Strukturiert: 31,3% Unstrukturiert: 42,7% Hypothese Personen, die nach der vorgegebenen Reihenfolge der Levels eines spielbasierten Lernprogramms lernen, zeigen eine bessere Lernleistung als Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen.  trifft nicht zu FM3 Abschlussreferat

Diskussion Hasse Diagramm der 8 Aufgaben Aufgabe a b c d e f g h Strukt. 33,3% 58,3% 16,7% 41,7% 0% 8,3% Unstrukt. 50,0% 91,7% 83,3% FM3 Abschlussreferat

Diskussion Aufgabe c: Cuernavaca ist die Hauptstadt von? Dazugehöriges Land sehr klein Verwechslungsfehler FM3 Abschlussreferat

Diskussion Aufgabe f: Toluca ist die Hauptstadt von? Länder waren nicht eingezeichnet FM3 Abschlussreferat

Diskussion Aufgabe g: Die Hauptstadt von Chiapas ist? Antwortmöglichkeiten waren gegeben FM3 Abschlussreferat

Diskussion Strukturiertes Interview: „ Wäre eine andere Reihenfolge leichter gewesen?“  Trotzdem: Lösungshäufigkeit „Unstrukturiert“ höher als „Strukturiert“ Strukturiert Unstrukturiert ja nein 8.3% 91.7% 83.3% 16.7% FM3 Abschlussreferat

Diskussion Allgemein/ Empfehlung für nachfolgende Studien Größere Stichprobe Zeitdruck Mehr Voruntersuchungen Studierende vs. Nicht-Studierende Sprache FM3 Abschlussreferat

Literatur Albert, D. & Kaluscha, R. (1997). Adapting Knowledge Structures in Dynamic Domains. In C. Herzog (Ed.), Beiträge zum Achten Arbeitstreffen der GI–Fachgruppe 1.1.5/7.0.1 "Intelligente Lehr–/Lernsysteme'', September 1997, Duisburg, Germany [Contributions of the 8th Workshop of the GI SIG "Intelligent Tutoring Systems''] (pp. 89–100). TU München. Bortz, J., Döring, N. (2003). Forschungs- und Evaluationsmethoden für Human- und Sozialwissenschaftler. (3.Auflage) Berlin Heidelberg: Springer. Falmagne, J. C., Koppen, M., Villano, M., Doignon, J. P., & Johannesen, L. (1990). Introduction to knowledge spaces: How to build, test and search them. Psychological Review, 97, 201–224. Hockemeyer, C. (2002). A Comparison of Non–Deterministic Procedures for the Adaptive Assessment of Knowledge. Psychologische Beiträge, 44, 495–503. Schrepp, M. (1999). An Empirical Test of a Process Model for Letter Series Completion Problems. In D. Albert & J. Lukas (Eds.), Knowledge Spaces: Theories, Empirical Research Applications (pp. 133–154). Mahwah, NJ: Lawrence Erlbaum Associates. FM3 FM3 Abschlussreferat 63

Literatur Schwan, S. (2006). Game Based Learning – Computerspiele in der Hochschule. Zugriff am 19.01.2009, von http://www.e-teaching.org/didaktik/konzeption/methoden/lernspiele/game_based_learning/gamebasedlearning.pdf http://css.uni-graz.at/projects/CbKSTCourse/release/ [Stand: 19.01.2009] http://www.e-teaching.org/didaktik/konzeption/methoden/lernspiele/game_based_learning http://www.sheppardsoftware.com/ http://wundt.uni-graz.at/epsyt/index.php FM3 Abschlussreferat

Verständnisfragen Aus welchem Grund war die Berechnung des „Correlation Agreement Coefficient“ für unsere Untersuchung nicht relevant? Wieso wurden Simulationen durchgeführt? FM3 Abschlussreferat