Robin Stark Vortrag im Medienlabor TU-Dresden 17.12.2001 Konzeption und Evaluation beispielbasierter Lernumgebungen im Bereich empirischer Forschungsmethoden: empirische Studien Robin Stark  Vortrag im Medienlabor TU-Dresden 17.12.2001 Konzeption und Evaluation beispielbasierter Lernumgebungen

Anwendungsbezogener Rahmen Allgemein: Probleme der Wissensanwendung und des Transfers in verschiedenen Domänen Spezifisch: Wissensanwendung im Bereich empirischer Forschungsmethoden in den Sozialwissenschaften Wissenslücken, gravierende Verständnisprobleme, Fehlkonzepte, "Wissenskompartmentalisierungen" Konzeption und Evaluation beispielbasierter Lernumgebungen

Ursachenanalyse Ungünstige kognitive, motivationale und emotionale Lernvoraussetzungen und Einstellungen Problematisches Lernverhalten Sehr ungünstige instruktionale Rahmenbedingungen   Reform der Methodenausbildung Konzeption und Evaluation beispielbasierter Lernumgebungen

Reform der Methodenausbildung “Entmathematisierung“ der Methodenvorlesung, konsequente Problemorientierung Konzeption und Implementation der virtuellen Lernumgebung NetBite, in der Prinzipien beispielbasierten Lernens systematisch umgesetzt werden   Instruktionales Ziel: Förderung des Erwerbs anwendbaren Wissens Konzeption und Evaluation beispielbasierter Lernumgebungen

Methodologie Anwendung eines integrativen Forschungsparadigmas Ziele, Ausgangspunkt, Grundprinzip und weitere Prinzipien Ziele auf einer instruktionalen und einer methodologischen Ebene: Wissensgenerierung und Problemlösung in der Praxis  Reduktion der Kluft zwischen Theorie und Praxis Ausgangspunkt: relevante Probleme der (außerwissenschaftlichen) Praxis ( starke Orientierung an "echten" Domänen) Grundprinzip: explizit anwendungsbezogene Generierung wissenschaftlichen Wissens Weitere Prinzipien: sukzessive Optimierung, Replikation und Evaluation in der Praxis Konzeption und Evaluation beispielbasierter Lernumgebungen

Methodologie Implikationen auf methodologischer, theoretischer, methodischer und praktisch-organisatorischer Ebene Systematische Kombination von experimenteller Laborforschung mit expliziter Praxisorientierung und Feldforschung ( problemorientierte Balance zwischen interner und externen Validität) Problemorientierte Theorienauswahl, -anwendung und – konstruktion ( Theorienpluralismus) Problemorientierte Kombination von quantitativen und qualitativen Methoden ( liberalisiertes Methodenverständnis) Kooperation von Experten aus Wissenschaft und Praxis ( Interdisziplinarität) Konzeption und Evaluation beispielbasierter Lernumgebungen

Theorie Kognitive Ansätze Lernen mit Lösungsbeispielen (Chi; Reimann; Renkl; Sweller; Van Merrienboër)   Analoges Problemlösen, Schematheorie (Gick; Holyoak; Bassok) Cognitive Load-Theorie (Gruber; Renkl; Sweller; Van Merrienboër; Paas) Konzeption und Evaluation beispielbasierter Lernumgebungen

Theorie Ansätze zum situierten bzw. problemorientierten Lernen Anocherd Instruction (Bransford) Cognitive Apprenticeship (Collins) Random Access Instruction (Spiro) Problemorientiertes Lernen (Mandl) Konzeption und Evaluation beispielbasierter Lernumgebungen

Theorie Ansätze zu Motivation, Emotion und Einstellungen Intrinsische und extrinsische Motivation (Deci & Ryan) Interessetheorie (Krapp, U. Schiefele) Selbstwirksamkeit (Bandura) Selbstkonzept (Shavelson) Ängstlichkeit (Pekrun) Ungewissheitstoleranz (Dalbert) Einstellungen gegenüber Statistik/empirische Forschungsmethoden (Gruber; Stark) Konzeption und Evaluation beispielbasierter Lernumgebungen

Empirie Experimentelle Studien und Feldstudien zum Lernen mit ausgearbeiteten Lösungsbeispielen im Bereich der Ökonomie (Zinrechnung, Buchführung) Experimentelle Studien zum Lernen mit (unvollständigen) Lösungsbeispielen im Bereich der Wahrscheinlichkeitsrechnung   Konzeption und Evaluation beispielbasierter Lernumgebungen

Empirie Befunde zum Einfluss: multipler Lösungsbeispiele....   multipler Lösungsbeispiele.... einer Anleitung zur Beispielelaboration.... einer systematischen Kombination von Problemlöseaufgaben und Lösungsbeispielen.... unvollständiger Lösungsbeispiele.... multipler Perspektiven.... instruktionaler Erklärungen.... auf Qualität der Beispielelaboration und Lernerfolg auf motivationale Aspekte Konzeption und Evaluation beispielbasierter Lernumgebungen

Empirie Befunde zum Zusammenhang zwischen: kognitiven, motivationalen und emotionalen Eingangsvoraussetzungen.... und Qualität der Beispielelaboration und Lernerfolg Befunde zu Bedingungen und Effekten von kognitiver Belastung Konzeption und Evaluation beispielbasierter Lernumgebungen

Konzeption der netzbasierten Lernumgebung NetBite Grundprinzip: problemorientiertes Lernen mit ausgearbeiteten Lösungsbeispielen   Authentisches Ausgangsproblem Konzeption und Evaluation beispielbasierter Lernumgebungen

Konzeption und Evaluation beispielbasierter Lernumgebungen

Konzeption der netzbasierten Lernumgebung NetBite Systematische, detaillierte Veranschaulichung des Prozesses empirischer Forschung Problemorientierte Darstellung der Vorlesungsinhalte Integration von abrufbaren Erklärungen (definitorische und vertiefende Erklärungen) Konzeption und Evaluation beispielbasierter Lernumgebungen

Konzeption und Evaluation beispielbasierter Lernumgebungen

Konzeption der netzbasierten Lernumgebung NetBite Unvollständige Lösungsschritte (Lücken), die von den Lernenden schriftlich ergänzt werden müssen Unmittelbares Feedback in Form von Musterlösungen Konzeption und Evaluation beispielbasierter Lernumgebungen

Konzeption und Evaluation beispielbasierter Lernumgebungen

Konzeption und Evaluation beispielbasierter Lernumgebungen

Feldstudie 1: Effektivität der Feedback-Unterstützung/Effektivität der gesamten Lernumgebung Problem: Oberflächliche Verarbeitung von Feedback-Information Implementation spezieller Leitfragen zur Vertiefung und Systematisierung des Vergleichs von eigener Lösung und Musterlösung Einfluss auf Lernerfolg?   Einfluss auf kognitive Überlastung? Einfluss auf Lernzeit? Konzeption und Evaluation beispielbasierter Lernumgebungen

Feldstudie 1 Design EG: Vorlesungsbegleitendes individuelles Lernen mit NetBite, 12 Wochen Randomisierung EG1: ohne Leitfragen (n=25) EG2: mit Leitfragen (n=25) KG: nur Vorlesungsbesuch, kein Zugang zu NetBite (n=30) Konzeption und Evaluation beispielbasierter Lernumgebungen

Feldstudie 1 Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen   Während der Lernphase Subjektive kognitive Überlastung Lernzeit Nach der Lernphase Problemorientierte Übungsklausur (Simulation der regulären Klausur) Reguläre Klausur "Weiche“ Daten: Interviews, NetBite-Foren Konzeption und Evaluation beispielbasierter Lernumgebungen

Lernerfolg EG1 (ohne Leitfragen) M (SD) EG2 (mit Leitfragen) M (SD) KG M (SD) Übungsklausur 53.17 (10.90) 50.06 (9.13) 33.83 (16.56) Durchfallquote 10% 12.5% 73% Reguläre Klausur 52.71 (8.99) 53.20 (5.29) 48.57 (9.26) 5.9% 0% 7.9% Übungsklausur: KG<EG1/EG2 Reguläre Klausur: KG<EG1/EG2 Konzeption und Evaluation beispielbasierter Lernumgebungen

Subjektive kognitive Überlastung EG1 (ohne Leitfragen) M (SD) EG2 (mit Leitfragen) M (SD) p subjektive Überlastung (Beispiel 1) 3.11 (1.00) 2.97 (1.03) >.10 (Beispiel 2) 3.32 (1.20) 3.03 (0.77) Konzeption und Evaluation beispielbasierter Lernumgebungen

Lernzeit (in Minuten) Konzeption und Evaluation beispielbasierter Lernumgebungen

Feldstudie 2: Effektivität thematischer und zeitlichen Vorstrukturierung/Effektivität der gesamten Lernumgebung Design EG: Vorlesungsbegleitendes individuelles Lernen mit NetBite, 12 Wochen Randomisierung EG1: ohne Vorstrukturierung EG2: Strukturierungsvorschläge EG3: strikte Vorstrukturierung KG: nur Vorlesungsbesuch, kein Zugang zu NetBite Konzeption und Evaluation beispielbasierter Lernumgebungen

Feldstudie 2 Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen Während der Lernphase Subjektive kognitive Überlastung Lernzeit Qualität der Ergänzungen, Fehler Nach der Lernphase Problemorientierte Übungsklausur (Simulation der regulären Klausur) Reguläre Klausur Akzeptanz der Lernmethode Subjektiver Lernerfolg Konzeption und Evaluation beispielbasierter Lernumgebungen

Lernerfolg EG1 (strikte Vortstrukt.) M (SD) EG2 (Struktur-vorschlag) M (SD) EG 3 (ohne Vorstrukt.) M (SD) KG M (SD) Übungsklausur 39.58 (15.24) 50.10 (12.44) 49.00 (12.40) 38.04 (16.91) Durchfallquote 63% 30% 15% 61% Reguläre Klausur 55.13 (6.51) 54.07 (6.77) 56.41 (4.71) 49.85 (9.11) 0% 3% 7..3% Übungsklausur: KG<EG1/EG2/EG3; EG1<EG2; EG1<EG3 Reguläre Klausur: KG<EG1/EG2/EG3 Konzeption und Evaluation beispielbasierter Lernumgebungen

Subjektive kognitive Überlastung EG1 (strikte Vortstrukt.) M (SD) EG2 (Struktur-vorschlag) M (SD) EG 3 (ohne Vorstrukt.) M (SD) subjektive Überlastung (Beispiel 1) 3.28 (0.66) 3.31 (0.92) 2.82 (0.73) (Beispiel 2) 3.02 (0.80) 2.83 (0.85) 2.63 (0.62) Beispiel 1: EG3<EG1; EG3<EG2 Beispiel 2: EG3<EG1 Konzeption und Evaluation beispielbasierter Lernumgebungen

Lernzeit Lösungsbeispiel 1 Range zwischen 32 und 1600 Minuten, Median 250 Minuten, Mittelwert 314 Minuten, Standardabweichung 240 Minuten Post hoc: keine Gruppenunterschiede Lösungsbeispiel 2 Range zwischen 45 und 1284 Minuten, Median 200 Minuten, Mittelwert 261 Minuten, Standardabweichung 215 Minuten Bearbeitungstage Range zwischen 4 und 16 Tagen Median 8 Tage, Mittelwert 8 Tage, Standardabweichung 3 Tage Post hoc: EG3<EG2/EG1 Konzeption und Evaluation beispielbasierter Lernumgebungen

Lernverhalten Qualität der Lückenbearbeitung (post hoc): keine Gruppenunterschiede   Fehler bei der Lückenbearbeitung (post hoc): EG2>EG1/EG3 Konzeption und Evaluation beispielbasierter Lernumgebungen

Motivationale Effekte Akzeptanz der Lernumgebung Akzeptanz einzelner Komponenten (Erklärungen, Lücken, Fragen) Post hoc: keine Gruppenunterschiede Subjektiver Lernerfolg (post hoc): EG1<EG2/EG3 Konzeption und Evaluation beispielbasierter Lernumgebungen

Experimentelle Laborstudie 1: Effektivität von Lücken im Beispieltext und von Verständnisfragen Design Faktor 2 Keine Verständnisfragen Verständnisfragen Faktor 1 Keine Lücken n = 15 Lücken Konzeption und Evaluation beispielbasierter Lernumgebungen

Experimentelle Laborstudie Lernumgebung Modifiziertes erstes NetBite-Lösungsbeispiel Lernzeit Maximum 240 Minuten Konzeption und Evaluation beispielbasierter Lernumgebungen

Experimentelle Laborstudie Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen, Einstellungen   Während der Lernphase Subjektive kognitive Überlastung Lernzeit Nach der Lernphase Problemorientierter Nachtest Erfassung des Lernfortschritts (Vorher-Nachher-Vergleich) Subjektiver Lernerfolg Akzeptanz der Lernmethode Konzeption und Evaluation beispielbasierter Lernumgebungen

Lernerfolg Vorher-Nachher-Vergleich über alle Gruppen hinweg Theoretisches Maximum: 14 Punkte Vortest: 7.4 Punkte (SD = 3.2) Nachtest: 10.9 Punkte (SD = 1.9) Vortest < Nachtest Konzeption und Evaluation beispielbasierter Lernumgebungen

Lernerfolg Gruppenvergleiche Lernerfolg: theoretisches Maximum: 45 Punkte Lernerfolg M (SD) Lernzeit (in Minuten) M (SD) kogn. Überlastung M (SD) Ohne Lücken/ ohne Fragen 24.5 (7.4) 97.7 (35.7) 3.6 (1.0) Mit Lücken/ ohne Fragen 23.4 (8.0) 130.3 (41.6) 3.4 (0.7) Ohne Lücken/ mit Fragen 24.6 (6.9) 117.9 (30.7) 3.4 (0.8) Mit Lücken/ mit Fragen 26.6 (9.1) 136.8 (35.6) 3.3 (0.8) Lernzeit: Lücken > ohne Lücken Konzeption und Evaluation beispielbasierter Lernumgebungen

Motivationale Effekte Subjektiver Lernerfolg M (SD) Akzeptanz M (SD) Ohne Lücken/ ohne Fragen 4.3 (0.5) 4.5 (0.5) Mit Lücken/ ohne Fragen 4.3 (0.6) 4.7 (0.6) Ohne Lücken/ mit Fragen 4.2 (0.5) 4.7 (0.5) Mit Lücken/ mit Fragen 4.5 (0.8) Konzeption und Evaluation beispielbasierter Lernumgebungen

Clusteranalytische Befunde Identifikation homogener Untergruppen in Abhängigkeit von verschiedenen Eingangsvoraussetzungen: methodenspezifisches Vorwissen Semesterzahl intrinsische Motivation methodenspezifisches Selbstkonzept methodenbezogene Angst negative Einstellungen gegenüber empirischen Forschungsmethoden Konzeption und Evaluation beispielbasierter Lernumgebungen

Clusteranalytische Befunde Profil 1: eher Anfangssemester mit eher wenig Vorwissen, die anderen Merkmale liegen im Durchschnitt der Gesamtgruppe (kurz: die "Unauffälligen"). Profil 2: höhere Semester mit wenig Vorwissen und viel Computererfahrung, leicht intrinsisch motiviert, eher positives Selbstkonzept, wenig Angst und kaum negative Einstellungen (kurz: die "Vorwissensschwachen"). Konzeption und Evaluation beispielbasierter Lernumgebungen

Clusteranalytische Befunde Profil 3: eher Anfangssemester mit weniger Vorwissen und kaum Computererfahrung, sehr wenig intrinsische Motivation, negatives Selbstkonzept, viel Angst und stark negative Einstellungen (kurz: die "Unmotivierten"). Profil 4: etwas höhere Semesterzahl, viel Vorwissen, hohe intrinsische Motivation, positives Selbstkonzept, wenig Angst, keine negative Einstellungen (kurz: die "Musterschüler"). Konzeption und Evaluation beispielbasierter Lernumgebungen

Homogene Untergruppen (z-standardisiert) Konzeption und Evaluation beispielbasierter Lernumgebungen

Clusteranalytische Befunde Post hoc-Vergleiche Lernzeit: Musterschüler, Unmotivierte > Unauffällige, Vorwissensschwache Kognitive Überlastung: Unmotivierte < Musterschüler, Unauffällige, Vorwissensschwache Aktuelle Selbstwirksamkeit: Unmotivierte < Musterschüler, Unauffällige, Vorwissensschwache Aktuelle intrinsische Motivation: Unauffällige < Unmotivierte, Musterschüler, Vorwissensschwache Konzeption und Evaluation beispielbasierter Lernumgebungen

Clusteranalytische Befunde Lernerfolg: Musterschüler > Unmotivierte, Unauffällige, Vorwissensschwache Subjektiver Lernerfolg: Musterschüler < Unmotivierte, Unauffällige, Vorwissensschwache   Akzeptanz der Lernmethode: Musterschüler < Unmotivierte, Unauffällige, Vorwissensschwache Konzeption und Evaluation beispielbasierter Lernumgebungen

Lerngeschehen, Lernerfolg und Motivation (z-standardisiert) Konzeption und Evaluation beispielbasierter Lernumgebungen

Resümee Mit einer vorlesungsbegleitenden netzbasierten Lernumgebung wird der Erwerb anwendbaren Wissens im Bereich empirischer Forschungsmethoden und Statistik gefördert Problem: Nachweis von Effekten einzelner instruktionaler Maßnahmen in einer komplexen Lernumgebung  Konzeption und Evaluation beispielbasierter Lernumgebungen

Resümee und Konsequenzen Eine zusätzliche Maßnahme zur Unterstützung der Feedback-Verarbeitung hatte keine Effekte Akzeptanzprobleme, Motivationsprobleme, mangelnde Kompetenz zum selbstgesteuerten Lernen Konzeption und Evaluation beispielbasierter Lernumgebungen

Resümee und Konsequenzen Ausmaß der Vorstrukturierung hatte nur geringen Einfluss auf Lernerfolg, Lernzeit, kognitive Überlastung, auf Lernverhalten und auf motivationale Aspekte Strikte zeitliche Vorstrukturierung ist nicht zu empfehlen Konzeption und Evaluation beispielbasierter Lernumgebungen

Resümee und Konsequenzen Einfluss von Lücken und Verständnisfragen auf Lernerfolg, subjektiven Lernerfolg und Akzeptanz konnte auch im Labor nicht nachgewiesen werden Bedeutung verschiedener Eingangsvoraussetzungen beim beispielbasierten Lernen im Bereich empirischer Forschungsmethoden konnte nachgewiesen werden Primat des methodenspezifischen Vorwissens mangelnde Korrespondenz von subjektivem und "objektivem" Lernerfolg Konzeption und Evaluation beispielbasierter Lernumgebungen

Resümee und Konsequenzen Wichtig: Replikation der clusteranalytischen Befunde an einer größeren Stichprobe Lerngeschehen sollte differenzierter erfasst werden (nachträgliches lautes Denken, Fragebogen, Interviews) Follow-up-Messung des Lernerfolgs zu empfehlen, um längerfristige Effekte der Lernumgebung abbilden zu können   Für Lernende mit weniger günstigen Eingangsvoraussetzungen ist das verwendete Lösungsbeispiel wahrscheinlich zu komplex Konzeption und Evaluation beispielbasierter Lernumgebungen

Resümee und Konsequenzen Dieses Problem wird durch zusätzliche instruktionale Maßnahmen nicht überwunden, u.U. sogar verschärft (unerwünschte "Nebenwirkungen") Zusätzliche Strategie: Weniger ist mehr. Gezielter Einsatz fokussierter Lösungsbeispiele, z.B. zur Korrelationsrechnung "Propädeutische" Lösungsbeispiele, stufenweise und optionale Anreicherung mit Komplexität Vergrößerung der Adaptivität der Lernumgebung Konzeption und Evaluation beispielbasierter Lernumgebungen

Resümee und Konsequenzen Die bisherigen Befunde sprechen insgesamt dafür, das integrative Forschungsparadigma und die Implementation der beispielbasierten Lernumgebung weiter zu verfolgen Konzeption und Evaluation beispielbasierter Lernumgebungen