Robin Stark Vortrag im Medienlabor TU-Dresden

Präsentation zum Thema: "Robin Stark Vortrag im Medienlabor TU-Dresden"—  Präsentation transkript:

1 Robin Stark Vortrag im Medienlabor TU-Dresden 17.12.2001
Konzeption und Evaluation beispielbasierter Lernumgebungen im Bereich empirischer Forschungsmethoden: empirische Studien Robin Stark  Vortrag im Medienlabor TU-Dresden Konzeption und Evaluation beispielbasierter Lernumgebungen

2 Anwendungsbezogener Rahmen
Allgemein: Probleme der Wissensanwendung und des Transfers in verschiedenen Domänen Spezifisch: Wissensanwendung im Bereich empirischer Forschungsmethoden in den Sozialwissenschaften Wissenslücken, gravierende Verständnisprobleme, Fehlkonzepte, "Wissenskompartmentalisierungen" Konzeption und Evaluation beispielbasierter Lernumgebungen

3 Ursachenanalyse Ungünstige kognitive, motivationale und emotionale Lernvoraussetzungen und Einstellungen Problematisches Lernverhalten Sehr ungünstige instruktionale Rahmenbedingungen Reform der Methodenausbildung Konzeption und Evaluation beispielbasierter Lernumgebungen

4 Reform der Methodenausbildung
“Entmathematisierung“ der Methodenvorlesung, konsequente Problemorientierung Konzeption und Implementation der virtuellen Lernumgebung NetBite, in der Prinzipien beispielbasierten Lernens systematisch umgesetzt werden Instruktionales Ziel: Förderung des Erwerbs anwendbaren Wissens Konzeption und Evaluation beispielbasierter Lernumgebungen

5 Methodologie Anwendung eines integrativen Forschungsparadigmas
Ziele, Ausgangspunkt, Grundprinzip und weitere Prinzipien Ziele auf einer instruktionalen und einer methodologischen Ebene: Wissensgenerierung und Problemlösung in der Praxis  Reduktion der Kluft zwischen Theorie und Praxis Ausgangspunkt: relevante Probleme der (außerwissenschaftlichen) Praxis ( starke Orientierung an "echten" Domänen) Grundprinzip: explizit anwendungsbezogene Generierung wissenschaftlichen Wissens Weitere Prinzipien: sukzessive Optimierung, Replikation und Evaluation in der Praxis Konzeption und Evaluation beispielbasierter Lernumgebungen

6 Methodologie Implikationen auf methodologischer, theoretischer, methodischer und praktisch-organisatorischer Ebene Systematische Kombination von experimenteller Laborforschung mit expliziter Praxisorientierung und Feldforschung ( problemorientierte Balance zwischen interner und externen Validität) Problemorientierte Theorienauswahl, -anwendung und – konstruktion ( Theorienpluralismus) Problemorientierte Kombination von quantitativen und qualitativen Methoden ( liberalisiertes Methodenverständnis) Kooperation von Experten aus Wissenschaft und Praxis ( Interdisziplinarität) Konzeption und Evaluation beispielbasierter Lernumgebungen

7 Theorie Kognitive Ansätze
Lernen mit Lösungsbeispielen (Chi; Reimann; Renkl; Sweller; Van Merrienboër) Analoges Problemlösen, Schematheorie (Gick; Holyoak; Bassok) Cognitive Load-Theorie (Gruber; Renkl; Sweller; Van Merrienboër; Paas) Konzeption und Evaluation beispielbasierter Lernumgebungen

8 Theorie Ansätze zum situierten bzw. problemorientierten Lernen
Anocherd Instruction (Bransford) Cognitive Apprenticeship (Collins) Random Access Instruction (Spiro) Problemorientiertes Lernen (Mandl) Konzeption und Evaluation beispielbasierter Lernumgebungen

9 Theorie Ansätze zu Motivation, Emotion und Einstellungen
Intrinsische und extrinsische Motivation (Deci & Ryan) Interessetheorie (Krapp, U. Schiefele) Selbstwirksamkeit (Bandura) Selbstkonzept (Shavelson) Ängstlichkeit (Pekrun) Ungewissheitstoleranz (Dalbert) Einstellungen gegenüber Statistik/empirische Forschungsmethoden (Gruber; Stark) Konzeption und Evaluation beispielbasierter Lernumgebungen

10 Empirie Experimentelle Studien und Feldstudien zum Lernen mit ausgearbeiteten Lösungsbeispielen im Bereich der Ökonomie (Zinrechnung, Buchführung) Experimentelle Studien zum Lernen mit (unvollständigen) Lösungsbeispielen im Bereich der Wahrscheinlichkeitsrechnung Konzeption und Evaluation beispielbasierter Lernumgebungen

11 Empirie Befunde zum Einfluss: multipler Lösungsbeispiele....
multipler Lösungsbeispiele.... einer Anleitung zur Beispielelaboration.... einer systematischen Kombination von Problemlöseaufgaben und Lösungsbeispielen.... unvollständiger Lösungsbeispiele.... multipler Perspektiven.... instruktionaler Erklärungen.... auf Qualität der Beispielelaboration und Lernerfolg auf motivationale Aspekte Konzeption und Evaluation beispielbasierter Lernumgebungen

12 Empirie Befunde zum Zusammenhang zwischen:
kognitiven, motivationalen und emotionalen Eingangsvoraussetzungen.... und Qualität der Beispielelaboration und Lernerfolg Befunde zu Bedingungen und Effekten von kognitiver Belastung Konzeption und Evaluation beispielbasierter Lernumgebungen

13 Konzeption der netzbasierten Lernumgebung NetBite
Grundprinzip: problemorientiertes Lernen mit ausgearbeiteten Lösungsbeispielen Authentisches Ausgangsproblem Konzeption und Evaluation beispielbasierter Lernumgebungen

14 Konzeption und Evaluation beispielbasierter Lernumgebungen

15 Konzeption der netzbasierten Lernumgebung NetBite
Systematische, detaillierte Veranschaulichung des Prozesses empirischer Forschung Problemorientierte Darstellung der Vorlesungsinhalte Integration von abrufbaren Erklärungen (definitorische und vertiefende Erklärungen) Konzeption und Evaluation beispielbasierter Lernumgebungen

16 Konzeption und Evaluation beispielbasierter Lernumgebungen

17 Konzeption der netzbasierten Lernumgebung NetBite
Unvollständige Lösungsschritte (Lücken), die von den Lernenden schriftlich ergänzt werden müssen Unmittelbares Feedback in Form von Musterlösungen Konzeption und Evaluation beispielbasierter Lernumgebungen

18 Konzeption und Evaluation beispielbasierter Lernumgebungen

19 Konzeption und Evaluation beispielbasierter Lernumgebungen

20 Feldstudie 1: Effektivität der Feedback-Unterstützung/Effektivität der gesamten Lernumgebung
Problem: Oberflächliche Verarbeitung von Feedback-Information Implementation spezieller Leitfragen zur Vertiefung und Systematisierung des Vergleichs von eigener Lösung und Musterlösung Einfluss auf Lernerfolg? Einfluss auf kognitive Überlastung? Einfluss auf Lernzeit? Konzeption und Evaluation beispielbasierter Lernumgebungen

21 Feldstudie 1 Design EG: Vorlesungsbegleitendes individuelles Lernen mit NetBite, 12 Wochen Randomisierung EG1: ohne Leitfragen (n=25) EG2: mit Leitfragen (n=25) KG: nur Vorlesungsbesuch, kein Zugang zu NetBite (n=30) Konzeption und Evaluation beispielbasierter Lernumgebungen

22 Feldstudie 1 Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen Während der Lernphase Subjektive kognitive Überlastung Lernzeit Nach der Lernphase Problemorientierte Übungsklausur (Simulation der regulären Klausur) Reguläre Klausur "Weiche“ Daten: Interviews, NetBite-Foren Konzeption und Evaluation beispielbasierter Lernumgebungen

23 Lernerfolg EG1 (ohne Leitfragen) M (SD) EG2 (mit Leitfragen) M (SD)
KG M (SD) Übungsklausur 53.17 (10.90) 50.06 (9.13) 33.83 (16.56) Durchfallquote 10% 12.5% 73% Reguläre Klausur 52.71 (8.99) 53.20 (5.29) 48.57 (9.26) 5.9% 0% 7.9% Übungsklausur: KG<EG1/EG2 Reguläre Klausur: KG<EG1/EG2 Konzeption und Evaluation beispielbasierter Lernumgebungen

24 Subjektive kognitive Überlastung
EG1 (ohne Leitfragen) M (SD) EG2 (mit Leitfragen) M (SD) p subjektive Überlastung (Beispiel 1) 3.11 (1.00) 2.97 (1.03) >.10 (Beispiel 2) 3.32 (1.20) 3.03 (0.77) Konzeption und Evaluation beispielbasierter Lernumgebungen

25 Lernzeit (in Minuten) Konzeption und Evaluation beispielbasierter Lernumgebungen

26 Feldstudie 2: Effektivität thematischer und zeitlichen Vorstrukturierung/Effektivität der gesamten Lernumgebung Design EG: Vorlesungsbegleitendes individuelles Lernen mit NetBite, 12 Wochen Randomisierung EG1: ohne Vorstrukturierung EG2: Strukturierungsvorschläge EG3: strikte Vorstrukturierung KG: nur Vorlesungsbesuch, kein Zugang zu NetBite Konzeption und Evaluation beispielbasierter Lernumgebungen

27 Feldstudie 2 Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen Während der Lernphase Subjektive kognitive Überlastung Lernzeit Qualität der Ergänzungen, Fehler Nach der Lernphase Problemorientierte Übungsklausur (Simulation der regulären Klausur) Reguläre Klausur Akzeptanz der Lernmethode Subjektiver Lernerfolg Konzeption und Evaluation beispielbasierter Lernumgebungen

28 Lernerfolg EG1 (strikte Vortstrukt.) M (SD)
EG2 (Struktur-vorschlag) M (SD) EG 3 (ohne Vorstrukt.) M (SD) KG M (SD) Übungsklausur 39.58 (15.24) 50.10 (12.44) 49.00 (12.40) 38.04 (16.91) Durchfallquote 63% 30% 15% 61% Reguläre Klausur 55.13 (6.51) 54.07 (6.77) 56.41 (4.71) 49.85 (9.11) 0% 3% 7..3% Übungsklausur: KG<EG1/EG2/EG3; EG1<EG2; EG1<EG3 Reguläre Klausur: KG<EG1/EG2/EG3 Konzeption und Evaluation beispielbasierter Lernumgebungen

29 Subjektive kognitive Überlastung
EG1 (strikte Vortstrukt.) M (SD) EG2 (Struktur-vorschlag) M (SD) EG 3 (ohne Vorstrukt.) M (SD) subjektive Überlastung (Beispiel 1) 3.28 (0.66) 3.31 (0.92) 2.82 (0.73) (Beispiel 2) 3.02 (0.80) 2.83 (0.85) 2.63 (0.62) Beispiel 1: EG3<EG1; EG3<EG2 Beispiel 2: EG3<EG1 Konzeption und Evaluation beispielbasierter Lernumgebungen

30 Lernzeit Lösungsbeispiel 1
Range zwischen 32 und 1600 Minuten, Median 250 Minuten, Mittelwert 314 Minuten, Standardabweichung 240 Minuten Post hoc: keine Gruppenunterschiede Lösungsbeispiel 2 Range zwischen 45 und 1284 Minuten, Median 200 Minuten, Mittelwert 261 Minuten, Standardabweichung 215 Minuten Bearbeitungstage Range zwischen 4 und 16 Tagen Median 8 Tage, Mittelwert 8 Tage, Standardabweichung 3 Tage Post hoc: EG3<EG2/EG1 Konzeption und Evaluation beispielbasierter Lernumgebungen

31 Lernverhalten Qualität der Lückenbearbeitung (post hoc): keine Gruppenunterschiede Fehler bei der Lückenbearbeitung (post hoc): EG2>EG1/EG3 Konzeption und Evaluation beispielbasierter Lernumgebungen

32 Motivationale Effekte
Akzeptanz der Lernumgebung Akzeptanz einzelner Komponenten (Erklärungen, Lücken, Fragen) Post hoc: keine Gruppenunterschiede Subjektiver Lernerfolg (post hoc): EG1<EG2/EG3 Konzeption und Evaluation beispielbasierter Lernumgebungen

33 Experimentelle Laborstudie 1: Effektivität von Lücken im Beispieltext und von Verständnisfragen
Design Faktor 2 Keine Verständnisfragen Verständnisfragen Faktor 1 Keine Lücken n = 15 Lücken Konzeption und Evaluation beispielbasierter Lernumgebungen

34 Experimentelle Laborstudie
Lernumgebung Modifiziertes erstes NetBite-Lösungsbeispiel Lernzeit Maximum 240 Minuten Konzeption und Evaluation beispielbasierter Lernumgebungen

35 Experimentelle Laborstudie
Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen, Einstellungen Während der Lernphase Subjektive kognitive Überlastung Lernzeit Nach der Lernphase Problemorientierter Nachtest Erfassung des Lernfortschritts (Vorher-Nachher-Vergleich) Subjektiver Lernerfolg Akzeptanz der Lernmethode Konzeption und Evaluation beispielbasierter Lernumgebungen

36 Lernerfolg Vorher-Nachher-Vergleich über alle Gruppen hinweg
Theoretisches Maximum: 14 Punkte Vortest: 7.4 Punkte (SD = 3.2) Nachtest: 10.9 Punkte (SD = 1.9) Vortest < Nachtest Konzeption und Evaluation beispielbasierter Lernumgebungen

37 Lernerfolg Gruppenvergleiche
Lernerfolg: theoretisches Maximum: 45 Punkte Lernerfolg M (SD) Lernzeit (in Minuten) M (SD) kogn. Überlastung M (SD) Ohne Lücken/ ohne Fragen 24.5 (7.4) 97.7 (35.7) 3.6 (1.0) Mit Lücken/ ohne Fragen 23.4 (8.0) 130.3 (41.6) 3.4 (0.7) Ohne Lücken/ mit Fragen 24.6 (6.9) 117.9 (30.7) 3.4 (0.8) Mit Lücken/ mit Fragen 26.6 (9.1) 136.8 (35.6) 3.3 (0.8) Lernzeit: Lücken > ohne Lücken Konzeption und Evaluation beispielbasierter Lernumgebungen

38 Motivationale Effekte
Subjektiver Lernerfolg M (SD) Akzeptanz M (SD) Ohne Lücken/ ohne Fragen 4.3 (0.5) 4.5 (0.5) Mit Lücken/ ohne Fragen 4.3 (0.6) 4.7 (0.6) Ohne Lücken/ mit Fragen 4.2 (0.5) 4.7 (0.5) Mit Lücken/ mit Fragen 4.5 (0.8) Konzeption und Evaluation beispielbasierter Lernumgebungen

39 Clusteranalytische Befunde
Identifikation homogener Untergruppen in Abhängigkeit von verschiedenen Eingangsvoraussetzungen: methodenspezifisches Vorwissen Semesterzahl intrinsische Motivation methodenspezifisches Selbstkonzept methodenbezogene Angst negative Einstellungen gegenüber empirischen Forschungsmethoden Konzeption und Evaluation beispielbasierter Lernumgebungen

40 Clusteranalytische Befunde
Profil 1: eher Anfangssemester mit eher wenig Vorwissen, die anderen Merkmale liegen im Durchschnitt der Gesamtgruppe (kurz: die "Unauffälligen"). Profil 2: höhere Semester mit wenig Vorwissen und viel Computererfahrung, leicht intrinsisch motiviert, eher positives Selbstkonzept, wenig Angst und kaum negative Einstellungen (kurz: die "Vorwissensschwachen"). Konzeption und Evaluation beispielbasierter Lernumgebungen

41 Clusteranalytische Befunde
Profil 3: eher Anfangssemester mit weniger Vorwissen und kaum Computererfahrung, sehr wenig intrinsische Motivation, negatives Selbstkonzept, viel Angst und stark negative Einstellungen (kurz: die "Unmotivierten"). Profil 4: etwas höhere Semesterzahl, viel Vorwissen, hohe intrinsische Motivation, positives Selbstkonzept, wenig Angst, keine negative Einstellungen (kurz: die "Musterschüler"). Konzeption und Evaluation beispielbasierter Lernumgebungen

42 Homogene Untergruppen (z-standardisiert)
Konzeption und Evaluation beispielbasierter Lernumgebungen

43 Clusteranalytische Befunde
Post hoc-Vergleiche Lernzeit: Musterschüler, Unmotivierte > Unauffällige, Vorwissensschwache Kognitive Überlastung: Unmotivierte < Musterschüler, Unauffällige, Vorwissensschwache Aktuelle Selbstwirksamkeit: Unmotivierte < Musterschüler, Unauffällige, Vorwissensschwache Aktuelle intrinsische Motivation: Unauffällige < Unmotivierte, Musterschüler, Vorwissensschwache Konzeption und Evaluation beispielbasierter Lernumgebungen

44 Clusteranalytische Befunde
Lernerfolg: Musterschüler > Unmotivierte, Unauffällige, Vorwissensschwache Subjektiver Lernerfolg: Musterschüler < Unmotivierte, Unauffällige, Vorwissensschwache Akzeptanz der Lernmethode: Musterschüler < Unmotivierte, Unauffällige, Vorwissensschwache Konzeption und Evaluation beispielbasierter Lernumgebungen

45 Lerngeschehen, Lernerfolg und Motivation (z-standardisiert)
Konzeption und Evaluation beispielbasierter Lernumgebungen

46 Resümee Mit einer vorlesungsbegleitenden netzbasierten Lernumgebung wird der Erwerb anwendbaren Wissens im Bereich empirischer Forschungsmethoden und Statistik gefördert Problem: Nachweis von Effekten einzelner instruktionaler Maßnahmen in einer komplexen Lernumgebung  Konzeption und Evaluation beispielbasierter Lernumgebungen

47 Resümee und Konsequenzen
Eine zusätzliche Maßnahme zur Unterstützung der Feedback-Verarbeitung hatte keine Effekte Akzeptanzprobleme, Motivationsprobleme, mangelnde Kompetenz zum selbstgesteuerten Lernen Konzeption und Evaluation beispielbasierter Lernumgebungen

48 Resümee und Konsequenzen
Ausmaß der Vorstrukturierung hatte nur geringen Einfluss auf Lernerfolg, Lernzeit, kognitive Überlastung, auf Lernverhalten und auf motivationale Aspekte Strikte zeitliche Vorstrukturierung ist nicht zu empfehlen Konzeption und Evaluation beispielbasierter Lernumgebungen

49 Resümee und Konsequenzen
Einfluss von Lücken und Verständnisfragen auf Lernerfolg, subjektiven Lernerfolg und Akzeptanz konnte auch im Labor nicht nachgewiesen werden Bedeutung verschiedener Eingangsvoraussetzungen beim beispielbasierten Lernen im Bereich empirischer Forschungsmethoden konnte nachgewiesen werden Primat des methodenspezifischen Vorwissens mangelnde Korrespondenz von subjektivem und "objektivem" Lernerfolg Konzeption und Evaluation beispielbasierter Lernumgebungen

50 Resümee und Konsequenzen
Wichtig: Replikation der clusteranalytischen Befunde an einer größeren Stichprobe Lerngeschehen sollte differenzierter erfasst werden (nachträgliches lautes Denken, Fragebogen, Interviews) Follow-up-Messung des Lernerfolgs zu empfehlen, um längerfristige Effekte der Lernumgebung abbilden zu können Für Lernende mit weniger günstigen Eingangsvoraussetzungen ist das verwendete Lösungsbeispiel wahrscheinlich zu komplex Konzeption und Evaluation beispielbasierter Lernumgebungen

51 Resümee und Konsequenzen
Dieses Problem wird durch zusätzliche instruktionale Maßnahmen nicht überwunden, u.U. sogar verschärft (unerwünschte "Nebenwirkungen") Zusätzliche Strategie: Weniger ist mehr. Gezielter Einsatz fokussierter Lösungsbeispiele, z.B. zur Korrelationsrechnung "Propädeutische" Lösungsbeispiele, stufenweise und optionale Anreicherung mit Komplexität Vergrößerung der Adaptivität der Lernumgebung Konzeption und Evaluation beispielbasierter Lernumgebungen

52 Resümee und Konsequenzen
Die bisherigen Befunde sprechen insgesamt dafür, das integrative Forschungsparadigma und die Implementation der beispielbasierten Lernumgebung weiter zu verfolgen Konzeption und Evaluation beispielbasierter Lernumgebungen