Alfred Groß Martina Papp Patricia Twardowsky 602.966 Psychologische Forschungsmethodik III LV-Leiter: O.Univ.-Prof. Dr. Albert Referat zum Stand der Forschung Feedback als Interventionsmaßnahme beim game based learning 4. November 2008 Alfred Groß alfred.gross@edu.uni-graz.at Martina Papp martina.papp@edu.uni-graz.at Patricia Twardowsky patricia.twardowsky@edu.uni-graz.at

Überblick Einführung game based learning Feedback Studien Begriffsdefinition Didaktische Funktion Klassifikation Formen Studien The instructional effect of feedback in test-like events (Bangert-Drowns et al.,1991) The impact of informative tutoring feedback on achievement and motivation in computer-based learning (Narciss, 2002) Principles of cognitive science in education: The effects of generation, errors, and feedback (Metcalfe et al., 2007) The effects of cooperative learning and feedback on e-learning in statistics (Krause et al., in press) The role of feedback and self-efficacy on web-based learning: The social cognitive perspective (Wang & Li, 2008) Fragestellung Literatur Verständnisfragen

game based learning Einführung Verwandte Begriffe digital game based learning serious games educational games edutainment Digitale Lernspiele, Computerlernspiele „(Digital) Game Based Learning bezeichnet ein Konzept, das dem Lernenden ermöglichen soll, sich durch Computerspiele mit speziellen fachspezifischen Inhalten auseinander zu setzen und Neues über diese Fachgebiete zu lernen“ (Prensky, 2001)

game based learning Einführung „Computer- u. Videospiele sind interaktive Medienangebote, die zum Zweck der Unterhaltung hergestellt und genutzt werden“ (Klimmt, 2004)

Feedback Begriffsdefinition ursprünglich aus der Kybernetik (=Lehre von Regelungsprozessen): „ein Rückmeldesystem für den Wirkungsgrad oder die Angemessenheit einer Leistung“ (www.resource-people.de/know-how/feedback.php) „Lernen durch Rückkoppelung/ Feedback findet statt, wenn der Output einer Lehr-Lern Interaktion als Input in das Lernsystem zurückfließt“ (http://gonline.univie.ac.at)

Feedback didaktische Funktion in Hinblick auf die Korrektheit der Aufgabenbeantwortung „Richtige Antworten sollen bestätigt und der zutreffende Lösungsweg gefestigt und stabilisiert werden, so dass die Wahrscheinlichkeit, die Aufgabe erneut richtig lösen zu können, zunimmt.“ „Falsche Antworten sollen als falsch erkannt werden und durch die richtige Antwort ersetzt werden“ (Kulvary & Stock, 1989; in Jakobs, 2002) drei Definitionen von FB („feedback triad“) Motivator Verstärker Fehlerrückmeldung (Kulhavy & Wagner, 1993; in Mory, 2004) 6

Feedback Beginn der Feedback Forschung Thorndike‘s „law of effects“: FB als „connector between responses and preceding stimuli“ „the ability to adapt his or her response according to information in the feedback and thus correct his or her errors“ (Kulvary & Wagner, 1993; in Mory, 2004) „supports the notion as feedback as a reinforcer“ (Sidney Pressey, 1926; in Mory, 2004) 7

Feedback Klassifikation wichtigste Differenzierungen no feedback KOR bzw. KR (knowledge of result) KCR (knowledge of the correct result or response) EF (elaborated feedback) „try again feedback“ (Dempsey, Driscoll & Swindell, 1993; in Mory, 2004) 8

Feedback Formen „hoher Feedback-Informationsgehalt vs. niedriger Feedback- Informationsgehalt“ hinsichtlich des Lerngewinns (Kröner, Dörre & Leutner, 2000) „externales vs. internales FB“ (nach Goodman, 1998; in Ruisinger, 2003) „immediate (feedback after item) vs. delayed FB“ (Kulik & Kulik, 1988; in Jakobs, 2002 bzw. in Mory, 2004 und Jakobs, 2002) 9

Feedbackarten und Informationsgehalt Kein Feedback KOR KCR EF Kein Infogehalt x Niedriger Infogehalt Mittlerer Infogehalt Hoher Infogehalt

Metastudie, die 58 Effektstärken von insgesamt 40 Studien untersucht The instructional effect of feedback in test-like events (Bangert-Drowns et al.,1991) Metastudie, die 58 Effektstärken von insgesamt 40 Studien untersucht Presearch availibility: Möglichkeit, richtige Antworten einzusehen, bevor die Aufgaben beantwortet werden Bewertung der Effektstärke: Bortz und Döring (1995) klein mittel groß .2 .5 .8

Ergebnisse (Bangert-Drowns et al.,1991) Effektstärken zur Wirkung des Feedback (positive Werte sprechen für Lernvorteile des Feedbacks gegenüber keinem Feedback) Klassifikation der Studien Anzahl der Studien (Vergleiche) durchschnittliche Effektstärke alle Studien bzw. alle Vergleiche 58 .26 Feedback ist nur nach Aufgabenbeantwortung zugänglich (=Kontrolle von presearch availability) 37 .46 Feedback besteht mindestens in der Mitteilung der korrekten Antwort und Feedback ist nur nach der Aufgabenbeantwortung zugänglich. 30 .58 Kontrolle von presearch availability, mindestens korrektives Feedback (KCR), kein Vortest vor der Instruktion, komplexere Lerninhalte (Textverständnis, Tests) 16 .77 Jacobs (2002)

The impact of informative tutoring feedback on achievement and motivation in computer-based learning (Narciss, 2002) Ziel: Entwicklung und Evaluierung von informativen Feedback Formen für komplexe Lernaufgaben Fragestellungen: Erleichtert „Know-How“ FB die Aufgabenausführung? Hat „Know-How“ FB Einfluss auf Zufriedenheit? Hat „Know-How“ FB Einfluss auf Aufgabenengagement und Ausdauer? FB-Bedingung (KOR vs. Know How) und SE Bedingung (low/medium vs. high)

Ergebnisse

Ergebnisse (Narciss, 2002) StudentInnen mit höheren SE Werten erzielten höhere Leistungen. (F(1,86) = 5,61, MSe = 532,18 p= .02) Unter der hoch informativen FB Bedingung: höhere Leistungstendenz höhere Zufriedenheit mit eigenen Leistung (F(1,85) = 5.76, MSe = 292,93, p= .02) längere Beschäftigung mit Aufgaben (F(1,86) = 8.19, MSe = 247754.94, p < .01) höhere Ausdauer FB signifikanter Einfluss auf Motivation, aber Effekt auf Leistung eher schwach

Principles of cognitive science in education: The effects of generation, errors, and feedback (Metcalfe et al., 2007) Ziel: Versuch ein computerbasiertes Unterrichtsprogrammn besser auszuführen um Kindern beim Lernen zu helfen Fragestellung: Was ist der Effekt von Feedback? Bronx Project forced vs. free condition und read only feedback vs. no feedback

Ergebnisse (Metcalfe et al., 2007)

e-learning Programm „Koralle“ Kooperatives vs. individuelles Lernen The effects of cooperative learning and feedback on e-learning in statistics (Krause et al., in press) Ziel: Prüfung, ob kooperatives Lernen und Feedback e-learning im Bereich der Statistik erleichtert Fragestellungen: Fördert kooperatives Lernen und FB individuelles Lernen mit „Koralle“? Begünstigt kooperatives Lernen und FB die subjektiven Lernergebnisse? e-learning Programm „Koralle“ Kooperatives vs. individuelles Lernen Feedback vs. kein Feedback

Ergebnisse

Ergebnisse (Krause et al., in press) In FB Intervention höhere Werte im Posttest, d.h. FB Intervention fördert objektive Lernergebnisse (F(1,133) = 32.91, p < 0.001), aber nicht die subjektiven Lernergebnisse. (F(2,130)= 1.37, n.s.) Bearbeitungszeit korreliert signifikant mit Lernergebnissen (r = 0.28, p <0.01) Gruppenleistung > Einzelleistung individuelles Lernen: FB effektiver genützt

The role of feedback and self-efficacy on web-based learning: The social cognitive perspective (Wang & Li, 2008) Untersuchung an 76 angehenden LehrerInnen in Taiwan, die an einem verpflichtenden Kurs zur Pädagogischen Psychologie teilnahmen Studierenden bekamen Feedback von anderen Studierenden zu ihrer Arbeit mittels eines elektronischen Kursprogramms

Experteneinschätzung: The role of feedback and self-efficacy on web-based learning: The social cognitive perspective (Wang & Li, 2008) Experteneinschätzung: Leistung  Punkte (inter-rater consistency >.8) Art des Feedbacks (inter-rater consistency >.78) KR, KCR, EF Fragestellung: Beeinflusst die Art des Feedbacks, das Studierende bekommen, ihre Leistung?

Ergebnisse (Wang & Li, 2008) Bessere Leistung bei Arbeiten durch Feedback (t(75)=-3,60; p<.05) KCR ist in der Lage, bessere Leistung vorauszusagen (β=.374, T=3.464, p<.01) KR und EF sind dazu nicht in der Lage Mittelwert Standardabw. t KR 1.143 0.746 4.09** 3,82** -3.60** EF 0.644 0.890 KCR 1.385 1.315 1. Beurteilung 10.28 3.163 2. Beurteilung 10.77 3.262 ** p<.01

Ableitung der Fragestellungen Auswirkung von unterschiedlichen Feedbackarten auf Lernleistung bereits vor e-learning bzw. technologiegestütztem Lernen nachgewiesen Ähnliche Ergebnisse bei computergestützten Lernprogrammen Übertragung der Ergebnisse auf game-based learning möglich?

Fragestellung Wirkt sich Feedback beim game-based learning auf die Lernleistung aus? Gibt es in Abhängigkeit von der verwendeten Feedback- Art Unterschiede hinsichtlich der Lernleistung beim game- based learning?

Verständnisfragen 1.) Welche Arten von Feedback unterscheidet man und welche wirken sich- bezogen auf die dargestellten Studienergebnisse- förderlicher auf die Lernleistung aus? 2.) Wie wird- bezogen auf die dargestellte Literatur- Lernleistung in Studien zu Feedback erhoben?

Literatur Bangert-Drowns, R.L., Kulik, C., Kulik, J.A., & Morgan, M.T. (1991). The instructional effect of feedback in test-like events. Review of Educational Research, 61, 213-238. Bortz, J. & Döring, N. (1995). Forschungsmethoden und Evaluation. Berlin: Springer. Jakobs, B. (2002). Aufgaben stellen und Feedback geben. Übersichtsartikel des Forschungsprojekts. Universität Saarbrücken. Zugriff am: 22.10.2008, http://www.phil.uni-sb.de/~jakobs/wwwartikel/feedback/index.htm Klimmt, C. (2004). Computer- und Videospiele. In R. Mangold, P. Vorderer & G. Bente (Hrsg.), Lehrbuch der Medienpsychologie (S. 695-716). Göttingen: Hogrefe.

Literatur Krause, U., Stark, R. & Mandl, H. (in press). The effects of cooperative learning and feedback on e-learning in statistics. Learning and Instruction. Kröner, S., Dörre, P. & Leutner, D. (2000). Praxisbezug und Feedback – Informationsgehalt in einem berufsbezogenen computer-basierten Training zum Qualitätsmanagement [1]. Zeitschrift für Arbeits- und Organisationspsychologie. Vol. 44, 1, 19-26. Metcalfe, J. & Kornell, N.(2007).Principles of cognitive science in education:The effects of generation, errors, and feedback. Psychonomic Bulletin & Review,14 (2), 225-229. Narciss, S.(2002). The Impact of informative tutoring feedback on achievement and motivation in computer-based instruction. Psychologie des Lehrens und Lernens. Dresden: technische Universität.

Literatur Prensky, M. (2001): Digital Game Based Learning. New York: McGraw-Hill Education. Ruisinger, K. (2003). Effekte verschiedener Feedback-Interventionen auf die Leistung am Beispiel einer komplexen Aufgabe. Diplomarbeit. Universität Konstanz. Zugriff am: 23.10.2008, http://w3.ub.uni-konstanz.de/v13/volltexte/2004/1244//pdf/Ruisinger.pdf Wang, S., Wu, P. (2008): The role of feedback and self-efficacy on web-based learning: The social cognitive perspective. Computers & Education, 51, 1589-1598. Definition Feedback: Zugriff am: 29.10.2008, http://www.resource-people.de/know-how/feedback.php und Zugriff am: 30.10.2008, http://gonline.univie.ac.at/htdocs/site/browse.php?a=3128&arttyp=k&PHPSESSID=c398c233096cd999db616f1f0227a765