Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Konzeption und Evaluation beispielbasierter Lernumgebungen 1 Konzeption und Evaluation beispielbasierter Lernumgebungen im Bereich empirischer Forschungsmethoden:

Ähnliche Präsentationen


Präsentation zum Thema: "Konzeption und Evaluation beispielbasierter Lernumgebungen 1 Konzeption und Evaluation beispielbasierter Lernumgebungen im Bereich empirischer Forschungsmethoden:"—  Präsentation transkript:

1 Konzeption und Evaluation beispielbasierter Lernumgebungen 1 Konzeption und Evaluation beispielbasierter Lernumgebungen im Bereich empirischer Forschungsmethoden: empirische Studien Robin Stark Vortrag im Medienlabor TU-Dresden

2 Konzeption und Evaluation beispielbasierter Lernumgebungen 2 Anwendungsbezogener Rahmen Allgemein: Probleme der Wissensanwendung und des Transfers in verschiedenen Domänen Spezifisch: Wissensanwendung im Bereich empirischer Forschungsmethoden in den Sozialwissenschaften Wissenslücken, gravierende Verständnisprobleme, Fehlkonzepte, "Wissenskompartmentalisierungen"

3 Konzeption und Evaluation beispielbasierter Lernumgebungen 3 Ursachenanalyse Ungünstige kognitive, motivationale und emotionale Lernvoraussetzungen und Einstellungen Problematisches Lernverhalten Sehr ungünstige instruktionale Rahmenbedingungen Reform der Methodenausbildung

4 Konzeption und Evaluation beispielbasierter Lernumgebungen 4 Reform der Methodenausbildung Entmathematisierung der Methodenvorlesung, konsequente Problemorientierung Konzeption und Implementation der virtuellen Lernumgebung NetBite, in der Prinzipien beispielbasierten Lernens systematisch umgesetzt werden Instruktionales Ziel: Förderung des Erwerbs anwendbaren Wissens

5 Konzeption und Evaluation beispielbasierter Lernumgebungen 5 Methodologie Anwendung eines integrativen Forschungsparadigmas Ziele, Ausgangspunkt, Grundprinzip und weitere Prinzipien Ziele auf einer instruktionalen und einer methodologischen Ebene: Wissensgenerierung und Problemlösung in der Praxis Reduktion der Kluft zwischen Theorie und Praxis Ausgangspunkt: relevante Probleme der (außerwissenschaftlichen) Praxis ( starke Orientierung an "echten" Domänen) Grundprinzip: explizit anwendungsbezogene Generierung wissenschaftlichen Wissens Weitere Prinzipien: sukzessive Optimierung, Replikation und Evaluation in der Praxis

6 Konzeption und Evaluation beispielbasierter Lernumgebungen 6 Methodologie Implikationen auf methodologischer, theoretischer, methodischer und praktisch-organisatorischer Ebene Systematische Kombination von experimenteller Laborforschung mit expliziter Praxisorientierung und Feldforschung ( problemorientierte Balance zwischen interner und externen Validität) Problemorientierte Theorienauswahl, -anwendung und – konstruktion ( Theorienpluralismus) Problemorientierte Kombination von quantitativen und qualitativen Methoden ( liberalisiertes Methodenverständnis) Kooperation von Experten aus Wissenschaft und Praxis ( Interdisziplinarität)

7 Konzeption und Evaluation beispielbasierter Lernumgebungen 7 Theorie Kognitive Ansätze Lernen mit Lösungsbeispielen (Chi; Reimann; Renkl; Sweller; Van Merrienboër) Analoges Problemlösen, Schematheorie (Gick; Holyoak; Bassok) Cognitive Load-Theorie (Gruber; Renkl; Sweller; Van Merrienboër; Paas)

8 Konzeption und Evaluation beispielbasierter Lernumgebungen 8 Theorie Ansätze zum situierten bzw. problemorientierten Lernen Anocherd Instruction (Bransford) Cognitive Apprenticeship (Collins) Random Access Instruction (Spiro) Problemorientiertes Lernen (Mandl)

9 Konzeption und Evaluation beispielbasierter Lernumgebungen 9 Theorie Ansätze zu Motivation, Emotion und Einstellungen Intrinsische und extrinsische Motivation (Deci & Ryan) Interessetheorie (Krapp, U. Schiefele) Selbstwirksamkeit (Bandura) Selbstkonzept (Shavelson) Ängstlichkeit (Pekrun) Ungewissheitstoleranz (Dalbert) Einstellungen gegenüber Statistik/empirische Forschungsmethoden (Gruber; Stark)

10 Konzeption und Evaluation beispielbasierter Lernumgebungen 10 Empirie Experimentelle Studien und Feldstudien zum Lernen mit ausgearbeiteten Lösungsbeispielen im Bereich der Ökonomie (Zinrechnung, Buchführung) Experimentelle Studien zum Lernen mit (unvollständigen) Lösungsbeispielen im Bereich der Wahrscheinlichkeitsrechnung

11 Konzeption und Evaluation beispielbasierter Lernumgebungen 11 Empirie Befunde zum Einfluss: multipler Lösungsbeispiele.... einer Anleitung zur Beispielelaboration.... einer systematischen Kombination von Problemlöseaufgaben und Lösungsbeispielen.... unvollständiger Lösungsbeispiele.... multipler Perspektiven.... instruktionaler Erklärungen.... auf Qualität der Beispielelaboration und Lernerfolg auf motivationale Aspekte

12 Konzeption und Evaluation beispielbasierter Lernumgebungen 12 Empirie Befunde zum Zusammenhang zwischen: kognitiven, motivationalen und emotionalen Eingangsvoraussetzungen.... und Qualität der Beispielelaboration und Lernerfolg Befunde zu Bedingungen und Effekten von kognitiver Belastung

13 Konzeption und Evaluation beispielbasierter Lernumgebungen 13 Konzeption der netzbasierten Lernumgebung NetBite Grundprinzip: problemorientiertes Lernen mit ausgearbeiteten Lösungsbeispielen Authentisches Ausgangsproblem

14 Konzeption und Evaluation beispielbasierter Lernumgebungen 14

15 Konzeption und Evaluation beispielbasierter Lernumgebungen 15 Konzeption der netzbasierten Lernumgebung NetBite Systematische, detaillierte Veranschaulichung des Prozesses empirischer Forschung Problemorientierte Darstellung der Vorlesungsinhalte Integration von abrufbaren Erklärungen (definitorische und vertiefende Erklärungen)

16 Konzeption und Evaluation beispielbasierter Lernumgebungen 16

17 Konzeption und Evaluation beispielbasierter Lernumgebungen 17 Konzeption der netzbasierten Lernumgebung NetBite Unvollständige Lösungsschritte (Lücken), die von den Lernenden schriftlich ergänzt werden müssen Unmittelbares Feedback in Form von Musterlösungen

18 Konzeption und Evaluation beispielbasierter Lernumgebungen 18

19 Konzeption und Evaluation beispielbasierter Lernumgebungen 19

20 Konzeption und Evaluation beispielbasierter Lernumgebungen 20 Feldstudie 1: Effektivität der Feedback- Unterstützung/Effektivität der gesamten Lernumgebung Implementation spezieller Leitfragen zur Vertiefung und Systematisierung des Vergleichs von eigener Lösung und Musterlösung Einfluss auf Lernerfolg? Einfluss auf kognitive Überlastung? Einfluss auf Lernzeit? Problem: Oberflächliche Verarbeitung von Feedback- Information

21 Konzeption und Evaluation beispielbasierter Lernumgebungen 21 Feldstudie 1 Design EG: Vorlesungsbegleitendes individuelles Lernen mit NetBite, 12 Wochen Randomisierung EG1: ohne Leitfragen (n=25) EG2: mit Leitfragen (n=25) KG: nur Vorlesungsbesuch, kein Zugang zu NetBite (n=30)

22 Konzeption und Evaluation beispielbasierter Lernumgebungen 22 Feldstudie 1 Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen Während der Lernphase Subjektive kognitive Überlastung Lernzeit Nach der Lernphase Problemorientierte Übungsklausur (Simulation der regulären Klausur) Reguläre Klausur "Weiche Daten: Interviews, NetBite-Foren

23 Konzeption und Evaluation beispielbasierter Lernumgebungen 23 Lernerfolg EG1 (ohne Leitfragen) M (SD) EG2 (mit Leitfragen) M (SD) KG M (SD) Übungsklausur53.17 (10.90)50.06 (9.13)33.83 (16.56) Durchfallquote10%12.5%73% Reguläre Klausur (8.99)53.20 (5.29)48.57 (9.26) Durchfallquote5.9%0%7.9% Übungsklausur: KG

24 Konzeption und Evaluation beispielbasierter Lernumgebungen 24 Subjektive kognitive Überlastung EG1 (ohne Leitfragen) M (SD) EG2 (mit Leitfragen) M (SD) p subjektive Überlastung (Beispiel 1) 3.11 (1.00)2.97 (1.03)>.10 subjektive Überlastung (Beispiel 2) 3.32 (1.20)3.03 (0.77)>.10

25 Konzeption und Evaluation beispielbasierter Lernumgebungen 25 Lernzeit (in Minuten)

26 Konzeption und Evaluation beispielbasierter Lernumgebungen 26 Feldstudie 2: Effektivität thematischer und zeitlichen Vorstrukturierung/Effektivität der gesamten Lernumgebung Design EG: Vorlesungsbegleitendes individuelles Lernen mit NetBite, 12 Wochen Randomisierung EG1: ohne Vorstrukturierung EG2: Strukturierungsvorschläge EG3: strikte Vorstrukturierung KG: nur Vorlesungsbesuch, kein Zugang zu NetBite

27 Konzeption und Evaluation beispielbasierter Lernumgebungen 27 Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen Während der Lernphase Subjektive kognitive Überlastung Lernzeit Qualität der Ergänzungen, Fehler Nach der Lernphase Problemorientierte Übungsklausur (Simulation der regulären Klausur) Reguläre Klausur Akzeptanz der Lernmethode Subjektiver Lernerfolg Feldstudie 2

28 Konzeption und Evaluation beispielbasierter Lernumgebungen 28 Lernerfolg EG1 (strikte Vortstrukt.) M (SD) EG2 (Struktur- vorschlag) M (SD) EG 3 (ohne Vorstrukt.) M (SD) KG M (SD) Übungsklausur39.58 (15.24)50.10 (12.44)49.00 (12.40)38.04 (16.91) Durchfallquote63%30%15%61% Reguläre Klausur (6.51)54.07 (6.77)56.41 (4.71)49.85 (9.11) Durchfallquote0%3%0%7..3% Übungsklausur: KG

29 Konzeption und Evaluation beispielbasierter Lernumgebungen 29 Subjektive kognitive Überlastung EG1 (strikte Vortstrukt.) M (SD) EG2 (Struktur- vorschlag) M (SD) EG 3 (ohne Vorstrukt.) M (SD) subjektive Überlastung (Beispiel 1) 3.28 (0.66)3.31 (0.92)2.82 (0.73) subjektive Überlastung (Beispiel 2) 3.02 (0.80)2.83 (0.85)2.63 (0.62) Beispiel 1: EG3

30 Konzeption und Evaluation beispielbasierter Lernumgebungen 30 Lernzeit Lösungsbeispiel 1 Range zwischen 32 und 1600 Minuten, Median 250 Minuten, Mittelwert 314 Minuten, Standardabweichung 240 Minuten Post hoc: keine Gruppenunterschiede Lösungsbeispiel 2 Range zwischen 45 und 1284 Minuten, Median 200 Minuten, Mittelwert 261 Minuten, Standardabweichung 215 Minuten Post hoc: keine Gruppenunterschiede Bearbeitungstage Range zwischen 4 und 16 Tagen Median 8 Tage, Mittelwert 8 Tage, Standardabweichung 3 Tage Post hoc: EG3

31 Konzeption und Evaluation beispielbasierter Lernumgebungen 31 Lernverhalten Qualität der Lückenbearbeitung (post hoc): keine Gruppenunterschiede Fehler bei der Lückenbearbeitung (post hoc): EG2>EG1/EG3

32 Konzeption und Evaluation beispielbasierter Lernumgebungen 32 Motivationale Effekte Akzeptanz der Lernumgebung Akzeptanz einzelner Komponenten (Erklärungen, Lücken, Fragen) Post hoc: keine Gruppenunterschiede Subjektiver Lernerfolg (post hoc): EG1

33 Konzeption und Evaluation beispielbasierter Lernumgebungen 33 Experimentelle Laborstudie 1: Effektivität von Lücken im Beispieltext und von Verständnisfragen Design Faktor 2 Keine Verständnisfragen Verständnisfragen Faktor 1Keine Lücken n = 15 Lückenn = 15

34 Konzeption und Evaluation beispielbasierter Lernumgebungen 34 Experimentelle Laborstudie Lernumgebung Modifiziertes erstes NetBite-Lösungsbeispiel Lernzeit Maximum 240 Minuten

35 Konzeption und Evaluation beispielbasierter Lernumgebungen 35 Experimentelle Laborstudie Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen, Einstellungen Während der Lernphase Subjektive kognitive Überlastung Lernzeit Nach der Lernphase Problemorientierter Nachtest Erfassung des Lernfortschritts (Vorher-Nachher-Vergleich) Subjektiver Lernerfolg Akzeptanz der Lernmethode

36 Konzeption und Evaluation beispielbasierter Lernumgebungen 36 Lernerfolg Theoretisches Maximum: 14 Punkte Vortest: 7.4 Punkte (SD = 3.2) Nachtest: 10.9 Punkte (SD = 1.9) Vortest < Nachtest Vorher-Nachher-Vergleich über alle Gruppen hinweg

37 Konzeption und Evaluation beispielbasierter Lernumgebungen 37 Lernerfolg Gruppenvergleiche Lernerfolg: theoretisches Maximum: 45 Punkte Lernerfolg M (SD) Lernzeit (in Minuten) M (SD) kogn. Überlastung M (SD) Ohne Lücken/ ohne Fragen 24.5 (7.4)97.7 (35.7)3.6 (1.0) Mit Lücken/ ohne Fragen 23.4 (8.0)130.3 (41.6)3.4 (0.7) Ohne Lücken/ mit Fragen 24.6 (6.9)117.9 (30.7)3.4 (0.8) Mit Lücken/ mit Fragen 26.6 (9.1)136.8 (35.6)3.3 (0.8) Lernzeit: Lücken > ohne Lücken

38 Konzeption und Evaluation beispielbasierter Lernumgebungen 38 Motivationale Effekte Subjektiver Lernerfolg M (SD) Akzeptanz M (SD) Ohne Lücken/ ohne Fragen 4.3 (0.5)4.5 (0.5) Mit Lücken/ ohne Fragen 4.3 (0.6)4.7 (0.6) Ohne Lücken/ mit Fragen 4.2 (0.5)4.7 (0.5) Mit Lücken/ mit Fragen 4.2 (0.5)4.5 (0.8)

39 Konzeption und Evaluation beispielbasierter Lernumgebungen 39 Clusteranalytische Befunde methodenspezifisches Vorwissen Semesterzahl intrinsische Motivation methodenspezifisches Selbstkonzept methodenbezogene Angst negative Einstellungen gegenüber empirischen Forschungsmethoden Identifikation homogener Untergruppen in Abhängigkeit von verschiedenen Eingangsvoraussetzungen:

40 Konzeption und Evaluation beispielbasierter Lernumgebungen 40 Clusteranalytische Befunde Profil 1: eher Anfangssemester mit eher wenig Vorwissen, die anderen Merkmale liegen im Durchschnitt der Gesamtgruppe (kurz: die "Unauffälligen"). Profil 2: höhere Semester mit wenig Vorwissen und viel Computererfahrung, leicht intrinsisch motiviert, eher positives Selbstkonzept, wenig Angst und kaum negative Einstellungen (kurz: die "Vorwissensschwachen").

41 Konzeption und Evaluation beispielbasierter Lernumgebungen 41 Clusteranalytische Befunde Profil 3: eher Anfangssemester mit weniger Vorwissen und kaum Computererfahrung, sehr wenig intrinsische Motivation, negatives Selbstkonzept, viel Angst und stark negative Einstellungen (kurz: die "Unmotivierten"). Profil 4: etwas höhere Semesterzahl, viel Vorwissen, hohe intrinsische Motivation, positives Selbstkonzept, wenig Angst, keine negative Einstellungen (kurz: die "Musterschüler").

42 Konzeption und Evaluation beispielbasierter Lernumgebungen 42 Homogene Untergruppen (z-standardisiert)

43 Konzeption und Evaluation beispielbasierter Lernumgebungen 43 Clusteranalytische Befunde Post hoc-Vergleiche Lernzeit: Musterschüler, Unmotivierte > Unauffällige, Vorwissensschwache Kognitive Überlastung: Unmotivierte < Musterschüler, Unauffällige, Vorwissensschwache Aktuelle Selbstwirksamkeit: Unmotivierte < Musterschüler, Unauffällige, Vorwissensschwache Aktuelle intrinsische Motivation: Unauffällige < Unmotivierte, Musterschüler, Vorwissensschwache

44 Konzeption und Evaluation beispielbasierter Lernumgebungen 44 Clusteranalytische Befunde Lernerfolg: Musterschüler > Unmotivierte, Unauffällige, Vorwissensschwache Subjektiver Lernerfolg: Musterschüler < Unmotivierte, Unauffällige, Vorwissensschwache Akzeptanz der Lernmethode: Musterschüler < Unmotivierte, Unauffällige, Vorwissensschwache

45 Konzeption und Evaluation beispielbasierter Lernumgebungen 45 Lerngeschehen, Lernerfolg und Motivation (z-standardisiert)

46 Konzeption und Evaluation beispielbasierter Lernumgebungen 46 Resümee Mit einer vorlesungsbegleitenden netzbasierten Lernumgebung wird der Erwerb anwendbaren Wissens im Bereich empirischer Forschungsmethoden und Statistik gefördert Problem: Nachweis von Effekten einzelner instruktionaler Maßnahmen in einer komplexen Lernumgebung

47 Konzeption und Evaluation beispielbasierter Lernumgebungen 47 Resümee und Konsequenzen Eine zusätzliche Maßnahme zur Unterstützung der Feedback-Verarbeitung hatte keine Effekte Akzeptanzprobleme, Motivationsprobleme, mangelnde Kompetenz zum selbstgesteuerten Lernen

48 Konzeption und Evaluation beispielbasierter Lernumgebungen 48 Resümee und Konsequenzen Ausmaß der Vorstrukturierung hatte nur geringen Einfluss auf Lernerfolg, Lernzeit, kognitive Überlastung, auf Lernverhalten und auf motivationale Aspekte Strikte zeitliche Vorstrukturierung ist nicht zu empfehlen

49 Konzeption und Evaluation beispielbasierter Lernumgebungen 49 Resümee und Konsequenzen Einfluss von Lücken und Verständnisfragen auf Lernerfolg, subjektiven Lernerfolg und Akzeptanz konnte auch im Labor nicht nachgewiesen werden Bedeutung verschiedener Eingangsvoraussetzungen beim beispielbasierten Lernen im Bereich empirischer Forschungsmethoden konnte nachgewiesen werden Primat des methodenspezifischen Vorwissens mangelnde Korrespondenz von subjektivem und "objektivem" Lernerfolg

50 Konzeption und Evaluation beispielbasierter Lernumgebungen 50 Resümee und Konsequenzen Wichtig: Replikation der clusteranalytischen Befunde an einer größeren Stichprobe Lerngeschehen sollte differenzierter erfasst werden (nachträgliches lautes Denken, Fragebogen, Interviews) Follow-up-Messung des Lernerfolgs zu empfehlen, um längerfristige Effekte der Lernumgebung abbilden zu können Für Lernende mit weniger günstigen Eingangsvoraussetzungen ist das verwendete Lösungsbeispiel wahrscheinlich zu komplex

51 Konzeption und Evaluation beispielbasierter Lernumgebungen 51 Resümee und Konsequenzen Dieses Problem wird durch zusätzliche instruktionale Maßnahmen nicht überwunden, u.U. sogar verschärft (unerwünschte "Nebenwirkungen") Zusätzliche Strategie: Weniger ist mehr. Gezielter Einsatz fokussierter Lösungsbeispiele, z.B. zur Korrelationsrechnung "Propädeutische" Lösungsbeispiele, stufenweise und optionale Anreicherung mit Komplexität Vergrößerung der Adaptivität der Lernumgebung

52 Konzeption und Evaluation beispielbasierter Lernumgebungen 52 Resümee und Konsequenzen Die bisherigen Befunde sprechen insgesamt dafür, das integrative Forschungsparadigma und die Implementation der beispielbasierten Lernumgebung weiter zu verfolgen


Herunterladen ppt "Konzeption und Evaluation beispielbasierter Lernumgebungen 1 Konzeption und Evaluation beispielbasierter Lernumgebungen im Bereich empirischer Forschungsmethoden:"

Ähnliche Präsentationen


Google-Anzeigen