ES Forschungsmethodik III O. Univ.-Prof. Dr. Dietrich Albert Gruppe 6

Präsentation zum Thema: "ES Forschungsmethodik III O. Univ.-Prof. Dr. Dietrich Albert Gruppe 6"—  Präsentation transkript:

1 Abschlussreferat Bedeutung der Hierarchie von Lerninhalten für Game Based Learning
ES Forschungsmethodik III O. Univ.-Prof. Dr. Dietrich Albert Gruppe 6 Neururer Cornelia Plentner Georg Prietl Verena

2 Inhalt Theoretischer Hintergrund
Ableitung der Fragestellung und Hypothese Methode Ergebnisse Diskussion Verständnisfragen Literatur FM3 Abschlussreferat

3 Game Based Learning Definition Kennzeichen „guter Computerspiele“
„Die Anwendung bildschirm-, computer- oder internetbasierten Spielen zu Lehr- und Lernzwecken“ (e-teaching, 2008) Kennzeichen „guter Computerspiele“ Probleme sind vorstrukturiert Abgestufte Levels (Schwan, 2006) FM3 Abschlussreferat

4 Wissensraumtheorie Strukturierung eines Wissensbereiches durch Voraussetzungsbeziehungen Von Jean-Paul Doignon & Jean-Claude Falmagne 1985 entwickelt Adaptive Wissensdiagnose Ökonomische Testung (Hockemeyer, 2002) FM3 Abschlussreferat

5 Wissensraumtheorie Wissensbereich (Knowledge Domain)
Endliche, nichtleere Menge Q von Aufgaben Aufgaben können gelöst oder nicht gelöst werden (dichotom) (Falmagne et al., 1990) FM3 Abschlussreferat

6 Wissensraumtheorie Prerequisite Relation
Annahme von Abhängigkeiten zwischen Aufgaben eines Wissensbereiches Q  Prerequisite Relations Innerhalb der Menge Q als binäre Relation ≤ a ≤ b… Lösung der Aufgabe b beinhaltet die Lösung der Aufgabe a reflexiv, transitiv  Quasiordnung antisymmetrisch  Partialordnung (Falmagne et al., 1990) FM3 Abschlussreferat

7 Wissensraumtheorie Beispiel: Q = {a, b, c, d, e} a) 378 x 605 = ?
b) 58.7 x 0.94 = ? c) 1/2 x 5/6 = ? d) What is 30% of 34? e) Gwendolyn is 3/4 as old as Rebecca. Rebecca is 2/5 as old as Edwin. Edwin is 20 years old. How old is Gwendolyn? (Falmagne et al., 1990) FM3 Abschlussreferat

8 Wissensraumtheorie Wissenszustand (Knowledge State)
Teilmenge K von Aufgaben aus Q, die gelöst werden können 2n mögliche Wissenszustände {a, b, c} Í Q  möglicher Wissenszustand {b, c, d} Í Q  kein möglicher Wissenszustand (Falmagne et al., 1990) FM3 Abschlussreferat

9 Wissensraumtheorie Wissensstruktur (Knowledge Structure)
Sammlung K von Wissenszuständen innerhalb Q  Wissensstruktur K = { { } , {a}, {c}, {a, c}, {a, b}, {a, b, c}, {a, b, d}, {a, b, c, e}, {a, b, c, d}, Q} Eigenschaften: abgeschlossen bezüglich Mengenvereinigung und Mengendurchschnitt K, K’ einer Wissensstruktur  K È K’ und K  Ç K’  Wissenszustände der Wissensstruktur (Falmagne et al., 1990) FM3 Abschlussreferat

10 Wissensraumtheorie Methoden zur Erfassung von Wissensstrukturen
Analyse erhobener Daten Analyse von Curricula und Didaktik Analyse von Anforderungen Analyse Kompetenz und Performanz ExpertInnenbefragung (Albert & Kaluscha, 1997) FM3 Abschlussreferat

11 Wissensraumtheorie Überprüfung der Validität einer Wissensstruktur
Correlation Agreement Coefficient (CA) Distance Agreement Coefficient (DA) Diskrepanz Index (DI) Analyse von Lösungshäufigkeiten FM3 Abschlussreferat

12 Wissensraumtheorie Correlation Agreement Coefficient (CA)
Überprüfung, welche der „konkurrierenden“ Strukturen mehr mit den empirischen Daten übereinstimmt Vergleich der beobachteten Korrelationen zwischen den Aufgaben mit den erwarteten Korrelationen Je höher der Wert, desto besser die Struktur und desto besser passt die Struktur zu den Daten (Van Leeuwe,1974; aus FM3 Abschlussreferat

13 Wissensraumtheorie Distance Agreement Coefficient (DA)
Vergleich der empirisch erhaltenen Antwortmustern mit den Zuständen des Wissensraums Gesucht wird die „minimale symmetrische Distanz“ dmax = Q/ Q…Anzahl der Aufgaben (Schrepp,1999; aus Diskrepanz Index durchschnittliche symmetrische Distanzen Je geringer mittlere Distanz, desto mehr Übereinstimmung (Kambouri et al., 1994; aus FM3 Abschlussreferat

14 Wissensraumtheorie Analyse der Lösungshäufigkeiten (relativ und absolut) Codierung: 1 = Aufgabe gelöst 0 = Aufgabe nicht gelöst Aufgabennummer 1 2 3 4 5 …….. Relative Häufigkeit ? Absolute Häufigkeit ?% (Schrepp,2001; aus FM3 Abschlussreferat

15 Wissensraumtheorie Studie: „An empirical Test of a Process Model for Letter Series Completion Problems“ (Martin Schrepp,1999) Verbindung zwischen den Annahmen der Wissensraumtheorie und dem Prozessmodell, welches dem Lösen/Fortsetzen von Buchstabenreihenfolgen (LCS- Problemen), zugrunde liegt Empirische Überprüfung möglich, indem man Wissensstruktur erstellt und mit Antwortmuster vergleicht FM3 Abschlussreferat

16 Wissensraumtheorie 20 Buchstabenreihenfolgen
Erstellung einer Surmise Relation mit aufsteigendem Schwierigkeitsgrad aufgrund der Annahmen des Prozess- modells Versuchspersonen: 51 (25 Frauen, 26 Männer) Aufgabe: - Fortsetzen der Buchstabenabfolge um 3 weitere Buchstaben FM3 Abschlussreferat

17 Wissensraumtheorie Ergebnisse:
Durchschnittliche Lösungshäufigkeit: 81% Berechnung der symmetrischen Distanzen dmax= 10 Durchschnittliche Distanz: 0,92  Ergebnisse zeigen, dass die aus dem Prozessmodell hergeleitete Surmise Relation fähig ist die Schwierigkeit von Buchstabenreihenfolgen ausreichend vorherzusagen. FM3 Abschlussreferat

18 Ableitung der Fragestellung
Kennzeichen „guter Computerspiele“ (Schwan, 2006) Probleme sind vorstrukturiert abgestufte Levels Wissensraumtheorie Hierarchische Strukturierung eines Wissensbereiches (Falmagne et al., 1990) Empirische Überprüfung von Wissensstrukturen ( FM3 Abschlussreferat

19 Fragestellung Gibt es einen Unterschied bezüglich der Lernleistung zwischen Personen, die nach der vorgegebenen Reihenfolge der Levels von spielbasierten Lernprogrammen lernen und Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen? FM3 Abschlussreferat

20 Forschungshypothesen
Ho: Personen, die nach der vorgegebenen Reihenfolge der Levels eines spielbasierten Lernprogramms lernen, zeigen keine bessere Lernleistung als Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen. FM3 Abschlussreferat

21 Forschungshypothesen
H1: Personen, die nach der vorgegebenen Reihenfolge der Levels eines spielbasierten Lernprogramms lernen, zeigen eine bessere Lernleistung als Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen. FM3 Abschlussreferat

22 Methode FM3 Abschlussreferat

23 Stichprobe Rekrutierung - Bekanntenkreis, PsychologiestudentInnen
Umfang 24 Personen: 12 Frauen und 12 Männer Art der Stichprobe Maturaniveau zwischen 18 und 40 Jahren (M=25,58; SD=3,17) Untersuchungsort PC-Raum, am Institut für Psychologie, KFU Graz Entlohnung Versuchsschein FM3 FM3 Planungsreferat Abschlussreferat 23

24 Material Testheft Demographische Daten und Screening Instruktion
Strukturiertes Interview Wissenstest FM3 Abschlussreferat

25 Material Testheft Screening
Wie gut kennen Sie die Namen der Regionen (und deren Hauptstädte) Mexikos? Gar nicht kaum mittelmäßig ziemlich Außerordentlich gut FM3 Abschlussreferat

26 Material Testheft Wissenstest
Acht Fragen in Papier-Bleistift-Form aus dem Lernprogramm Sheppard Hierarchische Struktur der Fragen Level 1: Fünf Fragen Level 2 bis 4: Jeweils eine Frage FM3 Abschlussreferat

27 Material Testheft Strukturiertes Interview
„Wie ist es Ihnen ergangen?“ „Hat Ihnen das Lernspiel Spaß gemacht?“ „Wie schätzen Sie die Schwierigkeit der Aufgaben ein?“ „Wäre eine andere Reihenfolge der Aufgaben leichter gewesen? Wenn ja, welche?“ FM3 Abschlussreferat

28 Material Apparatur 10 PCs (Pentium 4, 160 GB HD; 1 GB RAM) Windows Xp
17 Zoll TFT- Bildschirme (1280 x 1024 Pixel) Internetzugang (Mozilla Firefox) FM3 Abschlussreferat

29 Material Software „Sheppard Software“
verschiedene Online- Lern- Spiele Themen: Chemie, Mathematik… Geographie  Mexiko (Hauptstädte) ( FM3 Abschlussreferat

30 Material Software Tutorial:
Aufgabe des/der SpielerIn ist es die Länder auf der Karte anzuklicken Der/die SpielerIn erfährt den Namen der Hauptstadt und weitere Informationen zum zugehörigen Land ( FM3 Abschlussreferat

31 Material Software Nach dem Tutorial folgen verschiedene Levels, die nach aufsteigender Schwierigkeit geordnet sind Beginner: „Find and Click by Region“ Intermediate: „Find the correct capital for the country“ Expert: „Find the correct country for the capital“ Cartographer: „Type the first three letters of the name of the country's capital ( FM3 Abschlussreferat

32 Untersuchungsplan UV: Darbietung der Levels AV: Antwortmuster
Vorgegebene Reihenfolge der Levels Zufällig gewählte Reihenfolge der Levels AV: Antwortmuster SV: Vorwissen (Ausschluss) FM3 Abschlussreferat

33 Untersuchungsplan Vorgegebene Reihenfolge der Levels
Tutorial Beginner Intermediate Expert Cartographer Zufällig gewählte Reihenfolge der Levels FM3 Abschlussreferat

34 Auswertungsmethoden ePsyt ePsyt- electronic Psychology tools
Online verfügbar Institut für Psychologie  Arbeitsbereich Allgemeine Psychologie  Knowledge Space Theory: Punkt „Software“ – „ePsyt“ Auf Grundlage der Wissensraumtheorie entwickelt ( FM3 Abschlussreferat

35 Auswertungsmethoden ePsyt Tools für
Konstruktion eines Wissensraumes (Constr) Berechnen der symmetrischen Distanzen (distance) Berechnen des Correlation Agreement Coefficient u.a ( FM3 Abschlussreferat

36 Untersuchungsablauf * Tutorial: 5 min. Bearbeitung der Levels: 15 min
Gruppe- srukturiert Begrüßung DatenblattScreening Instruktion strukt. Spiel Strukturiertes Interview Wissenstest Verabsch. unstrukturiet unstrukt. ca. 5 min 20 min* 10 min * Tutorial: 5 min. Bearbeitung der Levels: 15 min Dauer gesamt: ca. 45 min FM3 Abschlussreferat

37 Ergebnisse FM3 Abschlussreferat

38 Ergebnisse Lösungshäufigkeiten
Lösungshäufigkeiten strukturiert n=12 Aufgabe 1 2 3 4 5 6 7 8 Ges. Absolute Häufigkeit 30 Relative Häufigkeit 33,3 58,3 16,7 41,7 8,3 31,3 FM3 Abschlussreferat

39 Ergebnisse Lösungshäufigkeiten
Lösungshäufigkeiten unstrukturiert n=12 Aufgabe 1 2 3 4 5 6 7 8 Ges. Absolute Häufigkeit 11 10 41 Relative Häufigkeit 50,0 91,7 83,3 16,7 42,7 FM3 Abschlussreferat

40 Ergebnisse Lösungshäufigkeiten
Strukturiert vs. Unstrukturiert FM3 Abschlussreferat

41 Ergebnisse Basis Erstellen der Basis des Wissensraums Basiszustände:
(a), (b), (c), (d), (e), (a,b,c,d,e,f), (a,b,c,d,e,f,g), (a,b,c,d,e,f,g,h) FM3 Abschlussreferat

42 Ergebnisse Basis Basis des Wissensraums 8  Anzahl der Aufgaben
8  Anzahl der Basiszustände FM3 Abschlussreferat

43 Ergebnisse Wissensraum
Erstellung des Wissensraums mittels des ePsyt-Tools „constr“ aufgrund der Basis Es ergeben sich 35 mögliche Wissenszustände Vergleich der Antwortmuster der Vpn mit den Zuständen des Wissensraums! Anwendung des Tools „distance“ FM3 Abschlussreferat

44 FM3 Abschlussreferat

45 Ergebnisse Diskrepanzindex- strukturiert
Distanz Häufigkeit 6 1 Durchschnittliche Distanz: 0,5 Standardabweichung: 0,5 FM3 Abschlussreferat

46 FM3 Abschlussreferat

47 Ergebnisse Diskrepanzindex- unstrukturiert
Distanz Häufigkeit 5 1 6 2 Durchschnittliche Distanz: 0,6667 Standardabweichung: 0,6236 FM3 Abschlussreferat

48 Ergebnisse Simulation
Vergleich der Antwortmuster mit gesamten Wissensraum (28 mögliche Wissenszustände) Strukturiert: Distanz = 1,417 SD = 1,255 Unstrukturiert: Distanz = 2,417 SD = 1,32 FM3 Abschlussreferat

49 Ergebnisse Simulation
Vergleich der Antwortmuster mit einem zufällig konstruierten Wissensraum Strukturiert: Distanz = 1,417 SD = 0,493 Unstrukturiert: Distanz = 1,5 SD = 0,5 FM3 Abschlussreferat

50 Ergebnisse Reproduzierbarkeitskoeffizient
Reproduzierbarkeitskoeffizient nach Guttman Gibt den Prozentsatz der Daten an, der durch das Modell erklärt werden kann Rep = 1 - [d / (a * n)] d… Anzahl der Fehler a… Anzahl der Items n… Anzahl der VPn/Gruppe ≥ 0,9  modellkonform Bortz & Döring (2003) FM3 Abschlussreferat

51 Ergebnisse Reproduzierbarkeitskoeffizient
Strukturiert: 1-[6/(8*12)] = 0,9375 Unstrukturiert: 1-[8/(8*12)] = 0,9167 FM3 Abschlussreferat

52 Ergebnisse Strukturiertes Interview
Wie ist es Ihnen ergangen? Hat Ihnen das Lernspiel Spaß gemacht? Strukturiert Unstrukturiert gut mittel schlecht 25% 33.3% 41.7% 58.3% 16.7% Strukturiert Unstrukturiert ja mittel nein 66.7% 16.7% 16,7% FM3 Abschlussreferat

53 Ergebnisse Strukturiertes Interview
Wie schätzen Sie die Schwierigkeit ein? Wäre eine andere Reihenfolge leichter gewesen? Strukturiert Unstrukturiert leicht mittel schwer 8.3% 33.3% 58.3% 0% 66.7% Strukturiert Unstrukturiert ja nein 8.3% 91.7% 83.3% 16.7% FM3 Abschlussreferat

54 Diskussion FM3 Abschlussreferat

55 Diskussion Zusammenfassung der Ergebnisse
Diskrepanzindex: mittlere symmetrische Distanz Strukturiert: 0,5 Unstrukturiert: 0,667  Antwortmuster „strukturiert“: mehr Ähnlichkeit mit Wissensraum Reproduzierbarkeitskoeffizient nach Guttman Strukturiert: 0,9375 Unstrukturiert: 0,9167  Beide Bedingungen modellkonform FM3 Abschlussreferat

56 Diskussion Zusammenfassung der Ergebnisse Relative Lösungshäufigkeiten
Strukturiert: 31,3% Unstrukturiert: 42,7% Hypothese Personen, die nach der vorgegebenen Reihenfolge der Levels eines spielbasierten Lernprogramms lernen, zeigen eine bessere Lernleistung als Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen.  trifft nicht zu FM3 Abschlussreferat

57 Diskussion Hasse Diagramm der 8 Aufgaben Aufgabe a b c d e f g h
Strukt. 33,3% 58,3% 16,7% 41,7% 0% 8,3% Unstrukt. 50,0% 91,7% 83,3% FM3 Abschlussreferat

58 Diskussion Aufgabe c: Cuernavaca ist die Hauptstadt von?
Dazugehöriges Land sehr klein Verwechslungsfehler FM3 Abschlussreferat

59 Diskussion Aufgabe f: Toluca ist die Hauptstadt von?
Länder waren nicht eingezeichnet FM3 Abschlussreferat

60 Diskussion Aufgabe g: Die Hauptstadt von Chiapas ist?
Antwortmöglichkeiten waren gegeben FM3 Abschlussreferat

61 Diskussion Strukturiertes Interview: „ Wäre eine andere Reihenfolge leichter gewesen?“  Trotzdem: Lösungshäufigkeit „Unstrukturiert“ höher als „Strukturiert“ Strukturiert Unstrukturiert ja nein 8.3% 91.7% 83.3% 16.7% FM3 Abschlussreferat

62 Diskussion Allgemein/ Empfehlung für nachfolgende Studien
Größere Stichprobe Zeitdruck Mehr Voruntersuchungen Studierende vs. Nicht-Studierende Sprache FM3 Abschlussreferat

63 Literatur Albert, D. & Kaluscha, R. (1997). Adapting Knowledge Structures in Dynamic Domains. In C. Herzog (Ed.), Beiträge zum Achten Arbeitstreffen der GI–Fachgruppe 1.1.5/7.0.1 "Intelligente Lehr–/Lernsysteme'', September 1997, Duisburg, Germany [Contributions of the 8th Workshop of the GI SIG "Intelligent Tutoring Systems''] (pp. 89–100). TU München. Bortz, J., Döring, N. (2003). Forschungs- und Evaluationsmethoden für Human- und Sozialwissenschaftler. (3.Auflage) Berlin Heidelberg: Springer. Falmagne, J. C., Koppen, M., Villano, M., Doignon, J. P., & Johannesen, L. (1990). Introduction to knowledge spaces: How to build, test and search them. Psychological Review, 97, 201–224. Hockemeyer, C. (2002). A Comparison of Non–Deterministic Procedures for the Adaptive Assessment of Knowledge. Psychologische Beiträge, 44, 495–503. Schrepp, M. (1999). An Empirical Test of a Process Model for Letter Series Completion Problems. In D. Albert & J. Lukas (Eds.), Knowledge Spaces: Theories, Empirical Research Applications (pp. 133–154). Mahwah, NJ: Lawrence Erlbaum Associates. FM3 FM3 Abschlussreferat 63

64 Literatur Schwan, S. (2006). Game Based Learning – Computerspiele in der Hochschule. Zugriff am , von [Stand: ] FM3 Abschlussreferat

65 Verständnisfragen Aus welchem Grund war die Berechnung des „Correlation Agreement Coefficient“ für unsere Untersuchung nicht relevant? Wieso wurden Simulationen durchgeführt? FM3 Abschlussreferat