12.5.2011 Bernhard Jacobs 1 Leistungssteigerung durch Notendruck ? Die Wirkung der Benotung auf die Studierleistungen in einem Seminar Quellen: URN: urn:nbn:de:bsz:291-psydok-25299.

Präsentation zum Thema: "12.5.2011 Bernhard Jacobs 1 Leistungssteigerung durch Notendruck ? Die Wirkung der Benotung auf die Studierleistungen in einem Seminar Quellen: URN: urn:nbn:de:bsz:291-psydok-25299."—  Präsentation transkript:

1 12.5.2011 Bernhard Jacobs 1 Leistungssteigerung durch Notendruck ? Die Wirkung der Benotung auf die Studierleistungen in einem Seminar Quellen: URN: urn:nbn:de:bsz:291-psydok-25299 URL: http://psydok.sulb.uni-saarland.de/volltexte/2009/2529/urn:nbn:de:bsz:291-psydok-25299http://psydok.sulb.uni-saarland.de/volltexte/2009/2529/ http://www.phil.uni-sb.de/~jakobs/wwwartikel/extrinsische_motivierung/notendruck/notenanreiz.html

2 12.5.2011 Bernhard Jacobs 2 Motivierung zum Lernen Intrinsische Lernmotivation Interesse am Lerngegenstand und Freude bei der Lernaktivität pädagogisch wertvoll tiefe Verarbeitung des Wissens viele theoretische Ergüsse (Selbstbestimmung, Flow, Interesse…) schwer im Schulalltag zu finden noch schwieriger pädagogisch zuverlässig anzuregen Extrinsische Lernmotivation (mehrere Facetten)mehrere Facetten Lernen nur wegen der erwarteten Konsequenzen pädagogisch bedenklich oberflächliche Verarbeitung ? theoretisch uninteressant: sehr nahe am common sense zuverlässig im Schulalltag zu finden bestimmt den größten Teil schulischer Motivierung Sehr wenige empirische Studien!

3 12.5.2011 Bernhard Jacobs 3 Untersuchungsziel Reicht das verpflichtende Angebot eines unbenoteten Online-Quiz mit vielfältigen Rückmeldungen aus, die Studierleistungen in einem durch Notenbedrohung analogen Ausmaß zu fördern ? Quiz: benotetQuiz: unbenotet, aber verpflichtend gegen Realistische Erwartung : nein Ausgangsfrage

4 12.5.2011 Bernhard Jacobs 4 Wichtige Forschungsfragen Fällt die Leistung im benoteten Quiz besser aus? Bleibt der vermutete Leistungsvorteil länger erhalten? Impliziert der vermutete Leistungsvorteil auch ansatzweise einen Wissenstransfer? Verbessern auch unbenotete Quiz die Lernleistung? Motivationale Anreize bzw. Auswirkungen der Benotung Erhöht sich die Bedeutsamkeit, im Quiz gut abzuschneiden? Verbessert sich die Vorbereitung auf das Quiz? Steigert Benotung die aktuelle Angst vor dem Quiz ? Kognitive Leistung

5 12.5.2011 Bernhard Jacobs 5 Hypothesen Höhere Bedeutsamkeit guter Leistungen Intensivere Vorbereitung auf das Quiz höhere Testmotivation Quizbenotung Lehrstoff erlernbar Höhere Quizleistung Stabilität der Leistung ? mehr aktuelle Angst vor Quiz

6 12.5.2011 Bernhard Jacobs 6 Untersuchungseinheiten 2 Seminare Diagnostik Grundlagen 2 Seminare Diagnostik Aufgaben Quiz 2a : Skalen, Stichproben …… Quiz 5: Aufgabenanalyse Quiz 2b: Aufgaben und Feedback Dozent: für alle 4 Seminare gleich [Verfasser] Unterrichtsmethode: Lehrervortrag mit Powerpoint Lerngrundlage: Seminarsitzung, verfügbare Powerpoint-Folie 4 Proseminare Pädagogische Diagnostik des WS 2008/2009 Quiz 1 für alle: Aufgabentypen und Aufgabenformen

7 12.5.2011 Bernhard Jacobs 7 Unabhängige Variable Für alle Bedingungen gilt: Quiztermin angekündigt und lange bekannt Quizteilnahme: verpflichtend Quizfunktion: Überprüfung zuvor präsentierten Lehrstoffs; Vorbereitung ca. 7 Tage. Quizlehrziele: sehr transparent, überwiegend Verständnis und Anwendung Umfang der Quizlehrziele ca. 1 bis 2 Seminarsitzungen EG benotet KG unbenotet Quizgewichtung für Seminarnote 25-33 %0 % Prüfungsform streng kontrolliert im Seminar online zu Hause; ohne externe Kontrolle, Aufgabenbearbeitung frei, Beantwortung aller Aufgaben wurde angeregt. alle Aufgaben waren zwingend zu beantworten Testzeit relativ großzügig bemessenbeliebig lange Feedback KCR after test im Seminar % korrekter Antworten nach einigen Wochen KOR, KCR und EF after item; % korrekter Antworten unmittelbar nach Quiz

8 12.5.2011 Bernhard Jacobs 8 Abhängige Variable Leistung im Quiz: Welchen Einfluss hat die Benotung auf das Quizergebnis ? Leistung im Parallelretest nach einer Woche Bleibt der erwartete Leistungsunterschied erhalten ? Leistung in der unbenoteten Abschlussklausur/quiz Ist ein Leistungsunterschied noch nach 4-8 Wochen feststellbar ? Checkliste der Quiz Aufgabenformen: Quiz 1: Aufgabenformen : Aufgabenanzahl: 21 =.78 N=108 Quiz: Retest/Kriterium : Aufgabenanzahl: 22 =.76 N=114 Parallel-Retestreliabilität rtt =.64 N=103 Abschlussquiz Aufgabenformen : Aufgabenanzahl: 12 =.65 N=107

9 12.5.2011 Bernhard Jacobs 9 Aufgaben /Wissen, Verstehen, Anwenden Beispiel für Short Answer Aufgabe [Aufgabenformen] Wie hoch ist die Wahrscheinlichkeit, eine einfache MC-Aufgabe…. Aufgabe 3 [Quiz 1] mit 5 Antwortoptionen durch Zufall korrekt zu beantworten ? Aufgabe 3 [Retestquiz] mit 4 Antwortoptionen durch Zufall korrekt zu beantworten ? Aufgabe 3 [Abschlussquiz] mit 4 Distraktoren und einer korrekten Antwort durch Zufall korrekt zu beantworten ? Aufgaben in Quizwiederholungen 50% identisch 50% parallel naher Transfer Verschiedene Aufgabenformen, alle maschinell auswertbar

10 12.5.2011 Bernhard Jacobs 10 Beispiel Zuordnungsaufgabe /Skala

11 12.5.2011 Bernhard Jacobs 11 Untersuchungsvorgehen 1234 Diagnostik GrundlagenDiagnostik Aufgaben A A AAB B BB R RRR Versuchsplan 10.11.2008 17.11.2008 1.12.2008 9.2.2009 Quiz1 Parallel Quiz2.... Abschlussquiz retest zu Quiz 1 und 2 zu Quiz 1 R Gruppe A: benotet unbenotet unbenotet unbenotet R Gruppe B: unbenotet unbenotet benotet unbenotet Seminar

12 12.5.2011 Bernhard Jacobs 12 Wirkung der Benotungsankündigung auf die Leistung im Quiz 1 Korrekte Lösungen [%] in Quiz 1 [Aufgabentypen] M s Quiz benotet: 80.1 7.5 Quiz unbenotet: 70.1 14.5 t(106): 4.4 p : 0.001 d :.87

13 12.5.2011 Bernhard Jacobs 13 Prozentsatz korrekter Lösungen im unbenoteten und unangekündigten Parallelretest Aufgabenformen: M s N t p d Quiz 1 benotet: 78.5 9.0 54 5.3 0.001 1.04 Quiz 1 unbenotet: 66.3 14.0 49 eine Woche nach dem Quiz Abschlussklausur, unangekündigt und unbenotet: 8 Wochen später Vorteil für benotetes Quiz bleibt weitgehend erhalten. Effektstärke im mittleren Bereich Zusammenfassung: Leistungsvorteile für benotetes Quiz in Effektstärke im nach 1 nach 8 Quiz 1 Woche Wochen.87 1.04.53 Auswirkung der Benotung von Quiz 1 auf das Behalten

14 12.5.2011 Bernhard Jacobs 14 Replikation des Benotungseffektes bei Quiz 2

15 12.5.2011 Bernhard Jacobs 15 Replikation : Quiz 3 und 4 Versuchsplanerweiterung für die Seminare: Grundlagen der Diagnostik Quiz 3 Quiz4 Statistik Testgütekriterien Abschlussquiz R Gruppe A:.... benotet unbenotet... unbenotet R Gruppe B:.... unbenotet benotet..... unbenotet Ergebnisse im Quiz Ergebnisse im Abschlussquiz: Quiz 3 Quiz 4 benotet 76.4 76.7 unbenotet 69.3 70.0 d.57*.25 d=.59d=.99

16 12.5.2011 Bernhard Jacobs 16 Unbenotete Quiz besser als gar nichts ? Versuchsplanerweiterung für die Seminare: Grundlagen der Diagnostik Abschlussquiz R Gruppe A:... unbenotetes Quiz kein Quiz... unbenotet R Gruppe B:... kein Quiz unbenotetes Quiz unbenotet Ergebnis: Bei einem Quiz bessere Ergebnisse, beim anderen Quiz kein Leistungsvorteil im Abschlussquiz Kritik: Zu wenige Items im Kriteriumstests [Abschlussquiz] Bessere Überprüfung der Fragestellung siehe Leistungssteigerung ohne Notendruck ? -Die Wirkung verpflichtender, unbenoteter Quiz auf die Studierleistung

17 12.5.2011 Bernhard Jacobs 17 Höhere Angst bei benotetem Quiz ? Höhere Bedeutsamkeit guter Leistungen Quizbenotung bewirkt verstärkt

18 12.5.2011 Bernhard Jacobs 18 Höhere Bedeutsamkeit guter Leistungen ? Es ist für mich sehr wichtig, in diesem Quiz gut abzuschneiden Das Ergebnis im Quiz hat für mich keine besondere Bedeutung. (-) "stimmt überhaupt nicht" (=1) "stimmt ganz genau" (=5). Quiz benotet unbenotet Effektstärke M M d 2a 4.0 3.1 1.00 2b 4.4 3.0 2.18 3 4.3 3.3 1.15 4 4.1 2.8 1.85 Die benoteten Quiz erhöhten die Bedeutsamkeit guter Leistungen konsistent in einem praktisch sehr bedeutsamen Ausmaß Ergebnis Fa zit Erhebung

19 12.5.2011 Bernhard Jacobs 19 Aktuelle Angst Aktuelle Angst unmittelbar vor dem Quiz 1 und 2 d=.55 d=.73

20 12.5.2011 Bernhard Jacobs 20 Angst Angst unmittelbar vor dem Quiz 3 und 4 [Replikation] Gruppe A: erst benotet, dann unbenotet Gruppe B: erst unbenotet, dann benotet Aktuelle Prüfungsangst (SPA) Quiz 3 Quiz4 d=1.03d=.69

21 12.5.2011 Bernhard Jacobs 21 Quizvorbereitung und Testmotivation subjektiv eingeschätzte Quizvorbereitung 1.) Ich hatte mich vor dem Quiz wenig mit dem Thema Skalen und Stichproben befasst. (-) 4.) Ich hatte die Folien des Seminars zu Skalen und Stichproben durchgearbeitet. 6.) Ich hatte mich auf die Themen und Inhalte des Quiz gut vorbereitet. Zeit für Quizvorbereitung 16.) Ich schätze die für das Quiz investierte Vorbereitungszeit auf ? Minuten. Investierte Anstrengungsbereitschaft [Testmotivation] 2.) Ich habe alle meine Kräfte eingesetzt, um das Quiz aufmerksam zu bearbeiten. 5.) Ich habe das Quiz voll konzentriert mit höchster Anstrengung bearbeitet. 7.) Ich sah keine Veranlassung, mich im Quiz ganz besonders anzustrengen. (-) Höhere Bedeutsamkeit guter Leistungen Intensivere Vorbe- reitung auf das Quiz höhere Testmotivation "stimmt überhaupt nicht" (=1) "stimmt ganz genau" (=5). Quizbenotung

22 12.5.2011 Bernhard Jacobs 22 Quizvorbereitung und Testmotivation benotet nicht Effekt- benotet stärke d Quizvorbereitung 2a 4.1 3.0 1,32 2b 4.3 2.9 2.00 3 4.0 3.1 0.99 4 4.0 2.4 1.82 Zeit für Quizvorbereitung 2a 135.8 35.8 1.90 in Minuten 2b 74.8 24.2 1.31 3 78.8 28.4 1.33 4 95.7 24.2 1.60 Anstrengungsbereitschaft 1 4.6 3.8 1.13 2a 4.4 3.7 1.05 2b 4.5 3.8 1.24 3 4.6 3.7 1.27 4 4.3 3.7 0.70 Alle Ergebnisse stützen die Erwartungs-mal-Werttheorie deutlich und konsistent

23 12.5.2011 Bernhard Jacobs 23 Resumé

24 12.5.2011 Bernhard Jacobs 24 Resumé und einige Implikationen Noten bewirken bessere Leistungen als keine Noten: trivial ? nicht trivial: Leistungsvorteil bleibt einige Zeit erhalten; kein rein oberflächliches Lernen. Leistungsvorteil erzielt durch bessere und mehr Vorbereitung Lernleistung=(realisierte Lernzeit / benötige Lernzeit) [Caroll] Mehr Leistung auch erkauft durch höhere Angst und Stress Systemimmanente Rationalität der Studierenden. Lerne wegen der instrumentellen Folgen, Bleib locker, wenn nicht prüfungsrelevant Studienkonzeption zwingt zu nutzenorientiertem Studium, begünstigt extrinsische Haltung zur Arbeit und Leistung. Gute Vorbereitung für die Erfolgsgesellschaft Die bessere Leistung benoteter Quiz erzwingt keineswegs die verstärkte Anwendung benoteter Quiz. Denn aus dem Sein folgt bekanntlich nicht das Sollen. Benotete Quiz führen nicht zwingend zu besseren benoteten Abschlussklausuren, weil die Notenerwartung der Klausur die Vorbereitung auf die Abschlussklausur intensiviert. Auch unbenotete Quiz fördern die Leistung, wenn auch weniger stark und zuverlässig.