Verhaltensbewertung Verhaltensstruktur Verhaltensinterpretation Computerunterstützter Kurs zur kompetenzbasierten Wissensraumtheorie Verena Bieber, Julia Nöbauer, Heidrun Rothe

THEMENÜBERBLICK Einführung Verhaltensstruktur Verhaltensbewertung und –interpretation Zusammenfassung Fazit

EINFÜHRUNG Formale Theorie zur effizienten Erfassung von Wissen (Doignon & Falmagne) Aufgabenmenge Q Abhängigkeitsbeziehungen Wissenszustand Wissensstruktur K

EINFÜHRUNG Abhängigkeitsbeziehungen Hasse-Diagramm

EINFÜHRUNG Wissenszustand Teilmenge von Aufgaben die eine Person lösen kann 2n mögliche Wissenszustände Durch „prerequisite relations“ auf theoretisch erwartbare reduziert

EINFÜHRUNG Wissensstruktur = Menge aller Wissenszustände einer Aufgabenmenge Q K = { { } , {a}, {c}, {a, c}, {a, b}, {a, b, c}, {a, b, d}, {a, b, c, e}, {a, b, c, d}, Q }.

VERHALTENSSTRUKTUR Theoretischer Hintergrund Auswahl des nächsten Items ist abhängig von der Antwort des vorausgegangenen Items den Beziehungen zwischen den Items (prerequisite relations) der Wissensstruktur

VERHALTENSSTRUKTUR Vorgabe eines Items mittlerer Schwierigkeit Bei korrekter Antwort zu nächst schwierigerem Item übergehen Bei falscher Antwort zu leichterem Item übergehen

VERHALTENSSTRUKTUR Aufgabe D Aufgabe C Aufgabe A Aufgabe B

VERHALTENSSTRUKTUR Beispiel Annahme: Lerner ist Studierender der Psychologie, der die Prüfung „Theorie und Konstruktion psychologischer Tests“ bereits absolviert hat Vorgabe eines Items zu Abhängigkeitsbeziehungen

VERHALTENSSTRUKTUR Bei korrekter Antwort: Übergang zu nächstem Item Bei falscher Antwort: Übergang zu Items des untergeordneten Kapitels BEISPIEL

VERHALTENSSTRUKTUR Jeder Lerner wird individuell durch das Programm navigiert Die Auswahl von neuen Items ist dadurch an das Wissen des Lerners angepasst Vorgegebene Items werden reduziert Lernvorgang wird effizienter Vorteil bei sehr großem Itempool

VERHALTENSBEWERTUNG & -INTERPRETATION Wichtigste Funktion von Feedback Lerner kann den Lernprozess erfolgreich regulieren Folgende Faktoren sind relevant Art und Qualität des Feedbacks Instruktionskontext Individuelle Merkmale des Lerners

VERHALTENSBEWERTUNG & -INTERPRETATION Regeln für das Geben von Feedback zielorientiert konstruktiv beschreibend konkret subjektiv nicht nur negativ

VERHALTENSBEWERTUNG & -INTERPRETATION Art und Qualität des Feedbacks: Funktionen Kognitiv Meta-kognitiv Motivational Komponenten Evaluative Komponente Informative Komponente

VERHALTENSBEWERTUNG & -INTERPRETATION Instruktionskontext Lernobjekte Lernaufgaben Fehler

VERHALTENSBEWERTUNG & -INTERPRETATION Individuelle Merkmale des Lerners Lernobjekte Vorhandenes Wissen und Fähigkeiten Motivation, ein Ziel zu erreichen

VERHALTENSBEWERTUNG & -INTERPRETATION Feedback-Typen KR: Knowledge of result or response Informiert nur ob die Antwort korrekt/inkorrekt ist KCR: Knowledge of correct response Präsentiert die korrekte Antwort oder Lösung AUC: answer until correct Präsentiert KR; Item muss solange bearbeitet werden bis es korrekt beantwortet wurde EF: elaborated feedback

VERHALTENSBEWERTUNG & -INTERPRETATION Elaboratives Feedback Alle Feedback-Typen, die mehr Information enthalten als KR Zum Beispiel: Erklärungen für korrekte/ inkorrekte Antworten Information über die Lokalisation des Fehlers Art des Fehlers Hinweise über hilfreiche Informationen zur Fehlerbehebung Hinweise über Problemlösestrategien

VERHALTENSBEWERTUNG & -INTERPRETATION Beispiele: KR „Diese Antwort ist richtig“ „Diese Antwort ist falsch“ KCR „Das ist richtig“ „Das ist leider falsch, die richtige Antwort lautet…“ AUC „Das hast du richtig gelöst“ „Das ist leider falsch, versuche es noch einmal“ „Das ist nicht die richtige Antwort, beim nächsten Mal schaffst du es bestimmt“

VERHALTENSBEWERTUNG & -INTERPRETATION Studie von Narciss & Huth „Fostering achievement and motivation with bug-related tutoring feedback in a computer-based training for written substraction“ 50 Untersuchungspersonen 23 weiblich, 27 männlich Alter: 9-10 Jahre) 2 Gruppen Bug-related Feedback KR-KCR-Feedback

VERHALTENSBEWERTUNG & -INTERPRETATION Messungen: Pre-Test: 32 Substraktionsaufgaben Erfassung der Vorerfahrung mit CBT (2 Items, Likert-Skala) Initiale Motivation (4 Items) Leistung (wie oft „mastery level“ erreicht wurde) Post-Test: 32 Substraktionsaufgaben (wie Pre-Test) Wahrscheinlichkeit im Pre-Test falsch gelöste Aufgaben im Post-Test richtig zu lösen Motivationsmessung (6 Items)

VERHALTENSBEWERTUNG & -INTERPRETATION Ergebnisse: Höhere Leistung hängt mit höherer Motivation zusammen Höheres Vorwissen (Pre-Test) hängt zusammen mit Höherer initialer Motiviation Höherer Post-Test Leistung Höherer Motivation Höhere initiale Motivation hängt mit höherer Motivation nach dem Treatment zusammen Mehr CBT-Vorerfahrung hängt mit höherer Leistung und Motivation zusammen

VERHALTENSBEWERTUNG & -INTERPRETATION Ergebnisse: TeilnehmerInnen die bug-related Feedback erhalten haben Haben das „mastery level“ bei mehreren Aufgabentypen erreicht Können im Post-Test mehr Fehler (in Bezug auf Pre-Test) korrigieren Haben höheres Leistungslevel im Post-Test Zeigen höhere Motivation als TeilnehmerInnen die nur KR-KCR-Feedback erhalten haben

VERHALTENSBEWERTUNG & -INTERPRETATION Direkte Darbietung eines komplexen Feedbacks bei Multiple-Choice Aufgaben nicht notwendig Wird als irrelevant oder störend angesehen Abstufung des Feedbacks zur individuellen Anpassung

VERHALTENSBEWERTUNG & -INTERPRETATION 3 Stufen des Feedbacks

VERHALTENSBEWERTUNG & -INTERPRETATION BEISPIEL zu 3 Stufen des Feedbacks

VERHALTENSBEWERTUNG & INTERPRETATION 5 Richtlinien von Feedback-Präsentation 1. Kein Feedback (besonders KCR) bevor Lerner versucht hat, die Aufgabe zu lösen (Anderson et al., 1971; Bangert-Drowns et al., 1991) 2. Elaborative Feedback Komponenten (EF) nicht mit KCR verbinden (Kulhavy et al., 1985; Schimmel, 1988)

VERHALTENSBEWERTUNG & INTERPRETATION 3. Elaborative Feedback Informationen stufenweise in kontrollierbaren Einheiten präsentieren (Mayer & Moreno, 2002; Phye & Bender, 1989) 4. Level festlegen, dass erreicht werden muss, um die Zielerreichung zu kontrollieren (Atkinson, 1974) 5. Komplexe Feedback Informationen nicht unbedingt als Text präsentieren (Mayer & Moreno, 2002)

DISKUSSION Feedback als Text  besser auditiv oder visuell Geringe Kenntnisse im Programmieren E-Learning Tools – Moodle (Open Space)

VERSTÄNDNISFRAGEN Welche Arten von Feedback sind laut Narciss & Huth effektiver und warum? Von welchen Kriterien ist die Auswahl des nächsten Items bei adaptiven Testen abhängig?

LITERATURVERZEICHNIS Narciss, S. & Huth, K. (2004). How to design informative tutoring feedback for multimedia learning. In H. M. Niegemann, D. Leutner, & R. Brünken (Eds.), Instructional design for multimedia learning (pp. 181-195). Münster: Waxmann. Narciss, S. (2004). The impact of informative tutoring feedback and self-efficiacy on motivation and achievment in concept learning. Experimental Psychology, 51(3), 214-228. Narciss, S. & Huth, K. (2006). Fostering achievement and motivation with bug-related tutoring feedback in a computer-based training for written substraction. Learning and Instruction, 16, 310-322.

DANKE FÜR EURE AUFMERKSAMKEIT