Verhaltensbewertung Verhaltensstruktur Verhaltensinterpretation

Präsentation zum Thema: "Verhaltensbewertung Verhaltensstruktur Verhaltensinterpretation"—  Präsentation transkript:

1 Verhaltensbewertung Verhaltensstruktur Verhaltensinterpretation
Computerunterstützter Kurs zur kompetenzbasierten Wissensraumtheorie Verena Bieber, Julia Nöbauer, Heidrun Rothe

2 THEMENÜBERBLICK Einführung Verhaltensstruktur
Verhaltensbewertung und –interpretation Zusammenfassung Fazit

3 EINFÜHRUNG Formale Theorie zur effizienten Erfassung von Wissen (Doignon & Falmagne) Aufgabenmenge Q Abhängigkeitsbeziehungen Wissenszustand Wissensstruktur K

4 EINFÜHRUNG Abhängigkeitsbeziehungen
Hasse-Diagramm

5 EINFÜHRUNG Wissenszustand
Teilmenge von Aufgaben die eine Person lösen kann 2n mögliche Wissenszustände Durch „prerequisite relations“ auf theoretisch erwartbare reduziert

6 EINFÜHRUNG Wissensstruktur
= Menge aller Wissenszustände einer Aufgabenmenge Q K = { { } , {a}, {c}, {a, c}, {a, b}, {a, b, c}, {a, b, d}, {a, b, c, e}, {a, b, c, d}, Q }.

7 VERHALTENSSTRUKTUR Theoretischer Hintergrund
Auswahl des nächsten Items ist abhängig von der Antwort des vorausgegangenen Items den Beziehungen zwischen den Items (prerequisite relations) der Wissensstruktur

8 VERHALTENSSTRUKTUR Vorgabe eines Items mittlerer Schwierigkeit
Bei korrekter Antwort zu nächst schwierigerem Item übergehen Bei falscher Antwort zu leichterem Item übergehen

9 VERHALTENSSTRUKTUR Aufgabe D Aufgabe C Aufgabe A Aufgabe B

10 VERHALTENSSTRUKTUR Beispiel
Annahme: Lerner ist Studierender der Psychologie, der die Prüfung „Theorie und Konstruktion psychologischer Tests“ bereits absolviert hat Vorgabe eines Items zu Abhängigkeitsbeziehungen

11 VERHALTENSSTRUKTUR Bei korrekter Antwort: Übergang zu nächstem Item
Bei falscher Antwort: Übergang zu Items des untergeordneten Kapitels BEISPIEL

12 VERHALTENSSTRUKTUR Jeder Lerner wird individuell durch das Programm navigiert Die Auswahl von neuen Items ist dadurch an das Wissen des Lerners angepasst Vorgegebene Items werden reduziert Lernvorgang wird effizienter Vorteil bei sehr großem Itempool

13 VERHALTENSBEWERTUNG & -INTERPRETATION
Wichtigste Funktion von Feedback Lerner kann den Lernprozess erfolgreich regulieren Folgende Faktoren sind relevant Art und Qualität des Feedbacks Instruktionskontext Individuelle Merkmale des Lerners

14 VERHALTENSBEWERTUNG & -INTERPRETATION
Regeln für das Geben von Feedback zielorientiert konstruktiv beschreibend konkret subjektiv nicht nur negativ

15 VERHALTENSBEWERTUNG & -INTERPRETATION
Art und Qualität des Feedbacks: Funktionen Kognitiv Meta-kognitiv Motivational Komponenten Evaluative Komponente Informative Komponente

16 VERHALTENSBEWERTUNG & -INTERPRETATION
Instruktionskontext Lernobjekte Lernaufgaben Fehler

17 VERHALTENSBEWERTUNG & -INTERPRETATION
Individuelle Merkmale des Lerners Lernobjekte Vorhandenes Wissen und Fähigkeiten Motivation, ein Ziel zu erreichen

18 VERHALTENSBEWERTUNG & -INTERPRETATION
Feedback-Typen KR: Knowledge of result or response Informiert nur ob die Antwort korrekt/inkorrekt ist KCR: Knowledge of correct response Präsentiert die korrekte Antwort oder Lösung AUC: answer until correct Präsentiert KR; Item muss solange bearbeitet werden bis es korrekt beantwortet wurde EF: elaborated feedback

19 VERHALTENSBEWERTUNG & -INTERPRETATION
Elaboratives Feedback Alle Feedback-Typen, die mehr Information enthalten als KR Zum Beispiel: Erklärungen für korrekte/ inkorrekte Antworten Information über die Lokalisation des Fehlers Art des Fehlers Hinweise über hilfreiche Informationen zur Fehlerbehebung Hinweise über Problemlösestrategien

20 VERHALTENSBEWERTUNG & -INTERPRETATION
Beispiele: KR „Diese Antwort ist richtig“ „Diese Antwort ist falsch“ KCR „Das ist richtig“ „Das ist leider falsch, die richtige Antwort lautet…“ AUC „Das hast du richtig gelöst“ „Das ist leider falsch, versuche es noch einmal“ „Das ist nicht die richtige Antwort, beim nächsten Mal schaffst du es bestimmt“

21 VERHALTENSBEWERTUNG & -INTERPRETATION
Studie von Narciss & Huth „Fostering achievement and motivation with bug-related tutoring feedback in a computer-based training for written substraction“ 50 Untersuchungspersonen 23 weiblich, 27 männlich Alter: 9-10 Jahre) 2 Gruppen Bug-related Feedback KR-KCR-Feedback

22 VERHALTENSBEWERTUNG & -INTERPRETATION
Messungen: Pre-Test: 32 Substraktionsaufgaben Erfassung der Vorerfahrung mit CBT (2 Items, Likert-Skala) Initiale Motivation (4 Items) Leistung (wie oft „mastery level“ erreicht wurde) Post-Test: 32 Substraktionsaufgaben (wie Pre-Test) Wahrscheinlichkeit im Pre-Test falsch gelöste Aufgaben im Post-Test richtig zu lösen Motivationsmessung (6 Items)

23 VERHALTENSBEWERTUNG & -INTERPRETATION
Ergebnisse: Höhere Leistung hängt mit höherer Motivation zusammen Höheres Vorwissen (Pre-Test) hängt zusammen mit Höherer initialer Motiviation Höherer Post-Test Leistung Höherer Motivation Höhere initiale Motivation hängt mit höherer Motivation nach dem Treatment zusammen Mehr CBT-Vorerfahrung hängt mit höherer Leistung und Motivation zusammen

24 VERHALTENSBEWERTUNG & -INTERPRETATION
Ergebnisse: TeilnehmerInnen die bug-related Feedback erhalten haben Haben das „mastery level“ bei mehreren Aufgabentypen erreicht Können im Post-Test mehr Fehler (in Bezug auf Pre-Test) korrigieren Haben höheres Leistungslevel im Post-Test Zeigen höhere Motivation als TeilnehmerInnen die nur KR-KCR-Feedback erhalten haben

25 VERHALTENSBEWERTUNG & -INTERPRETATION
Direkte Darbietung eines komplexen Feedbacks bei Multiple-Choice Aufgaben nicht notwendig Wird als irrelevant oder störend angesehen Abstufung des Feedbacks zur individuellen Anpassung

26 VERHALTENSBEWERTUNG & -INTERPRETATION
3 Stufen des Feedbacks

27 VERHALTENSBEWERTUNG & -INTERPRETATION
BEISPIEL zu 3 Stufen des Feedbacks

28 VERHALTENSBEWERTUNG & INTERPRETATION
5 Richtlinien von Feedback-Präsentation 1. Kein Feedback (besonders KCR) bevor Lerner versucht hat, die Aufgabe zu lösen (Anderson et al., 1971; Bangert-Drowns et al., 1991) 2. Elaborative Feedback Komponenten (EF) nicht mit KCR verbinden (Kulhavy et al., 1985; Schimmel, 1988)

29 VERHALTENSBEWERTUNG & INTERPRETATION
3. Elaborative Feedback Informationen stufenweise in kontrollierbaren Einheiten präsentieren (Mayer & Moreno, 2002; Phye & Bender, 1989) 4. Level festlegen, dass erreicht werden muss, um die Zielerreichung zu kontrollieren (Atkinson, 1974) 5. Komplexe Feedback Informationen nicht unbedingt als Text präsentieren (Mayer & Moreno, 2002)

30 DISKUSSION Feedback als Text  besser auditiv oder visuell
Geringe Kenntnisse im Programmieren E-Learning Tools – Moodle (Open Space)

31 VERSTÄNDNISFRAGEN Welche Arten von Feedback sind laut Narciss & Huth effektiver und warum? Von welchen Kriterien ist die Auswahl des nächsten Items bei adaptiven Testen abhängig?

32 LITERATURVERZEICHNIS
Narciss, S. & Huth, K. (2004). How to design informative tutoring feedback for multimedia learning. In H. M. Niegemann, D. Leutner, & R. Brünken (Eds.), Instructional design for multimedia learning (pp ). Münster: Waxmann. Narciss, S. (2004). The impact of informative tutoring feedback and self-efficiacy on motivation and achievment in concept learning. Experimental Psychology, 51(3), Narciss, S. & Huth, K. (2006). Fostering achievement and motivation with bug-related tutoring feedback in a computer-based training for written substraction. Learning and Instruction, 16,

33 DANKE FÜR EURE AUFMERKSAMKEIT