3. SPSS-Academic Convention Weimar – 16./17. Juni 2004 Zur Wirksamkeit von Practice Tests am Beispiel der Klausur Deskriptive Statistik Michael Westermann und Bianca Krol Universität Duisburg-Essen – Campus Essen – FB Wirtschaftswissenschaften 16. Juni 2004

Methodische Vorgehensweise Ergebnisse Fazit Agenda Ich referiere über die Wirksamkeit von Practice Tests Dazu beginne ich mit einer Bestandsaufnahme/Motivation Und erläutere dann, was unter Practice Tests verstanden wird und wie sie an unserem Lehrstuhl umgesetzt wurden Danach schildere ich kurz die methodische Vorgehensweise Und präsentiere danach die Ergebnisse unserer empirischen Analyse. Ich beende die Präsentation mit einem kurzen Fazit. Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 2

Situation An der Universität Duisburg-Essen gehört für die Studierenden des Fachbereichs Wirtschaftswissenschaften das Fach Statistik zur Pflichtveranstaltung Dazu gehören insbesondere Studierende der Studiengänge BWL/Wirtschaftsinformatik und BA Statistik setzt sich aus zwei Klausuren zusammen. Inhalte sind Deskriptive Statistik und Wirtschaftsstatistik sowie Induktive Statistik Die Klausuren werden jeweils zu zwei Terminen angeboten Wir beobachten in den letzten Jahre konstant hohe Durchfallquoten in beiden Klausuren, wie die folgenden Abbildungen zeigen Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit Inhalte sind Deskriptive Statistik, Induktive Statistik und Wirtschaftsstatistik Klausuren werden jeweils zu zwei Terminen gestellt (Haupttermin/Nachtermin) Konstant hohe Durchfallquoten sowohl in den Klausuren zur Deskriptiven Statistik als auch zur Induktiven Statistik Statistik als Pflichtveranstaltung für Studierende der Fächer Betriebswirtschaftslehre (BWL), Wirtschafts-informatik (WIINF), Bachelor of Arts in Economics (BA) 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 3

Punkteverteilung der Klausur Deskriptive Statistik Insgesamt haben im SS 2002 442 Studenten an der Klausur Deskriptive Statistik teilgenommen. Davon haben 265 die Klausur nicht bestanden. Das entspricht einer Quote von 59,95% mit einer durchschnittlichen Punktzahl von 43,3 bei insgesamt 120 zu erreichenden Punkte Bestanden wurde die Klausur mit 45 Punkte, was wir schon als recht niedrig ansehen. Es treten zum Teil recht unterschiedliche Ergebnisse auf, wenn man die verschiedenen Studiengänge betrachtet Bei den Betriebswirten betrug die Durchfallquote 61,69%, bei den Wirtschaftsinformatikern lediglich 47,47%. Diese schneiden in den letzten Jahren immer deutlich besser bei den Statistk-Klausuren ab, als die BWLer. Die Bachelor-Studierenden sind (leider auch mit Regelmäßigkeit) die schlechtesten Teilnehmer mit einer Durchfallquote on 80%. Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit Anzahl ø Punkte Durchfallquote 35 35,3 80,00 % Anzahl ø Punkte Durchfallquote 99 48,0 47,47 % Anzahl ø Punkte Durchfallquote 442 43,3 59,95 % Anzahl ø Punkte Durchfallquote 308 42,7 61,69 % Anmerkung: Insgesamt konnten 120 Punkte erzielt werden. 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 4

Weitere Fakten Weitere Fakten haben wir in einer Tabelle zusammengefasst. Wir erkennen zum Teil deutliche Unterschiede im Klausurerfolg, wenn wir die Teilnehmer nach Geschlecht und Nationalität unterscheiden, wobei der Unterschied zwischen deutschen und ausländischen Teilnehmern besonders hervorzuheben ist. Zum Nachtermin konnten wir eine deutlich niedrigere Durchfallquote feststellen als zum Haupttermin Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit Anzahl ø Punkte Durchfallquote Geschlecht m 291 43,9 64,23 % w 137 41,8 58,08 % Nationalität deutsch 362 44,7 56,91 % andere 79 37,1 73,42 % Termin HT 261 41,2 66,67 % NT 46,2 50,28 % 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 5

Practice Tests in der empirischen Sozialforschung Kommen wir zum Nächsten Punkt, nämlich der Frage, was Practice Tetst sind und wie sie in der empirischen Sozialforschung behandelt werden. Grundsätzlich ersteht man unter Practice Tests Methoden zur Steigerung des Lernerfolgs. Das heißt, das erlernte Wissen soll mithilfe dieser Methoden so verfestigt werden, dass der Erfolg in der späteren Prüfungsleistung gesichert wird. Zurück geht das ganze auf PRESSEY, welcher im Jahr 1926 eine teaching-testing-maschine vorgestellt hat, mit deren Hilfe automatisiert Lerninhalte abgeprüft werden konnten. Weitere Methoden sind Probeklausuren, Dozentenreviews oder permanente Lernerfolgskontrollen in Form von Übungsblättern Zur Einteilung der Practice Tetst gehört ebenfalls die Art und Weise, wie den Teilnehmern Feedback vermittelt wird. Die Wirksamkeit der unterschiedlichen Methoden und Feedbackarten wurde in einer Reihe von Forschungsarbeiten nachgewiesen. Die hier aufgeführten Arbeiten stellen dabei lediglich eine Auswahl dar. Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit Arten von Feedback itemspezifisches Feedback (answer-until-correct)/Kennzahlen sofortiges Feedback/verzögertes Feedback Empirische Untersuchungen zur Auswirkung von Practice Tests und Feedbackformen auf die tatsächlichen Prüfungsleistungen Dempsey/Litchfield/Driscoll (1993), Bol/Hacker (2001), Epstein/Epstein/Brosvic (2001), Jacobs (2001), Epstein et al. (2002), Dihoff/Brosvic/Epstein (2003) Methoden zur Steigerung des Lernerfolgs Vorstellung einer teaching-testing-machine von Pressey (1926) Probeklausuren Dozentenreviews permanente Lernerfolgskontrolle durch Übungsblätter 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 6

Practice Tests im Fach Statistik An unserem Lehrstuhl haben wir uns für eine permanente Lernerfolgskontrolle in Form von Übungsblättern entschieden. Diese wurden von Mitarbeitern des Fachgebiets korrigiert und den Teilnehmern mit einer Musterlösung versehen zurück gegeben. Somit wurde den Studierenden eine realistische Einschätzung ihrer Leistung ermöglicht, die Lerndefizite wurden aufgedeckt und die Motivation, die Mängel bis zur Klausur zu beheben, wird angeregt. Diese Vorgehensweise wiest unserer Meinung nach somit aller Eigenschaften einer Erfolg versprechenden Maßnahme auf. Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit Korrektur der Übungsblätter durch Mitarbeiter des Lehrstuhls Rückgabe der korrigierten Übungsblätter (mit Musterlösung) Den Studenten wird eine realistische Einschätzung der eigenen Leistung ermöglicht Lerndefizite werden aufgedeckt Die Motivation der Studenten, die Defizite bis zur tatsächlichen Prüfung zu beseitigen, wird angeregt Erfolg versprechende Maßnahme Semesterbegleitende Ausgabe von Übungsblättern (5 Stück) 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 7

Erste Ergebnisse Diese spiegelt sich auch in den ersten Ergebnissen wider. Von den 442 Teilnehmern haben 108 überhaupt am Practice Test teilgenommen (knapp 25%). Das ist im Vergleich zur ausgewerteten Literatur bedauerlicherweise recht wenig. Bei den Teilnehmern jedoch liegt die Durchfallquote bei lediglich 44,44% und bei denjenigen, welche nicht teilgenommen haben, knapp 65%. Auch fällt auf, dass die Durchfallquote mit zunehmender Anzahl der Practice Tests abnimmt (jedoch nicht monoton) Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit Anzahl ø Punkte Durchfallquote Insgesamt 442 43,3 59,95 % Practice Test ja 108 49,9 44,44 % nein 334 41,1 64,97 % Anz. der Übungsblätter 1 34 44,5 58,82 % 2 25 52,9 32,00 % 3 19 49,5 52,63 % 4 14 50,1 50,00 % 5 16 57,3 18,75 % 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 8

Methodische Vorgehensweise Der Gang unserer Analyse war dann der folgende Zunächst haben wir die vorliegenden Daten einer ausführlicheren Deskriptiven Analyse unterzogen. Dabei ging es uns um Unabhängigkeits-Tests und die Bestimmung von Chancen und Chancen-Verhältnissen Danach haben wir den Versuch unternommen, die Einflussfaktoren des Klausurerfolgs zu bestimmen Wobei wir jedoch die Selektionsverzerrung zu berücksichtigen haben. Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit Regressionsrechnung zur Bestimmung der Determinanten des Klausurerfolgs lineare Einfachregression Logit-/Probit-Schätzung Berücksichtigung der Selektionsverzerrung Deskriptive Analyse Bestimmung von Odds und Odds-Ratios c2-Test auf Unabhängigkeit 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 9

Schätzproblem bei Selbstselektion Wir haben nämlich zu berücksichtigen, dass die Teilnahme am Practice Test freiwillig geschieht. Eine Nichtberücksichtigung dieser Tatsache führt aus statistischer Sicht zu verzerrten Schätzergebnissen. HECKMAN hat im Jahr 1976 jedoch eine Methode vorgestellt, diese Selbstselektion zu berücksichtigen. Dazu wird zunächst mit einer Probit-Analyse die Wahrscheinlichkeit einer Teilnahme am Practice Test geschätzt Diese Wahrscheinlichkeit wird in der eigentlichen Schätzgleichung berücksichtigt, so dass man nun den Einfluss der exogenen Faktoren erwartungstreu schätzt Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit Teilnahme an der lernfördernden Maßnahme ist freiwillig Selbstselektion führt bei Nichtberücksichtigung zu verzerrten Schätzergebnissen Selektionsmodell von Heckman (1976) berücksichtigt die Selektionsverzerrung Lösung Bestimme die Wahrscheinlichkeit einer Teilnahme am Practice Test Berücksichtigung dieser Wahrscheinlichkeit in der eigentlichen Schätzgleichung Erwartungstreue Schätzung der Einflussfaktoren 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 10

Deskriptive Analyse Zunächst können wir festhalten, dass die Wahrscheinlichkeit, unter den Teilnehmern jemanden zu finden, welcher die Klausur bestanden (40,05%) hat nur 2/3 der Wahrscheinlichkeit beträgt, jemanden zu finden, der die Klausur nicht bestanden hat (59,95%). Die Chance beträgt demnach 0,4005/0,5995 = 0,6681 Durch die Teilnahme am Practice Test steigt diese Chance jedoch um das 2,3fache an. Die Odds-Ratio beträgt in dem Fall 1,25/0,54 = 2,3188. Dieser Zusammenhang ist statistisch abgesichert zum 1%-Signifikanzniveau Allgemein haben wir diese Zusammenhänge aus den Kontingenztabellen ermitteln können Weitere erwähnenswerte Ergebnisse: Die Chance steigt von 0,7 bei einem Practice Test auf 4,33 bei 5 Practice Tests an Die Nationalität und der Klausurerfolg sind nicht unabhängig. Wir konnten keinen signifikanten Zusammenhang zwischen dem Geschlecht und dem Klausurerfolg ermitteln Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit Durch die Teilnahme am Practice Test steigt die Chance einer erfolgreichen Klausurteilnahme signifikant an. Odds-Ratio=1,25/0,54=2,3188 (statistisch signifikant zum 1%-Niveau) Die Chance einer erfolgreichen Teilnahme steigt mit der Anzahl der bearbeiteten Übungsblätter an. 0,7 bei einem Blatt; 4,33 bei allen bearbeiteten Blättern Die Nationalität und der Klausurerfolg sind nicht unabhängig. Odds-Ratio = 2,0914 (statistisch signifikant zum 1%-Niveau) Kein signifikanter Zusammenhang zwischen Geschlecht und Klausurerfolg Die Wahrscheinlichkeit, die Klausur zu bestehen beträgt nur ungefähr 2/3 der Wahrscheinlichkeit, die Klausur nicht zu bestehen. Chance=0,4005/0,5995=0,6681 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 11

Schätzergebnisse der Regressionsanalyse Im weiteren Verlauf wollten wir zusätzlich zu den bisher ermittleten Ergebnissen weitere Einflussfaktoren des Klausurerfolgsermitteln Als (weitere) Einflussgrößen haben wir dabei den Studiengang, die Semesterzahl und das Alter der Teilnehmer und den Zeitpunkt der Teilnahme berücksichtigt. Weiterhin hatten wir die Möglichkeit zu erfahren, ob Teilnehmer bereits zum Vortermin an einer Klausur teilgenommen haben. Diese Tatsache haben wir durch die Variable VTERMIN berücksichtigt (Lerneffekt) Wir finden in allen Schätzungen die gleichen signifikanten Faktoren, nämlich den Studiengang, die Anzahl der Practice Tests, den Zeitpunkt der Klausurteilnahme, eine wiederholte Teilnahme und die Nationalität. Die Interpretation der Koeffizienten bei der Logit-/Probit-Schätzung ist nicht intuitiv. Die Ergebnisse sind jedoch konsistent zu denen der OLS-Schätzung. Variable Logit Probit OLS b0 -1,8575*** -1,1454*** 29,9364*** (-4,57) (-4,31) (11,12) STUDIUM 0,2785** 0,1679** 2,4960** (2,13) (2,10) (2,51) NR_UEB 0,4282*** 0,2594*** 3,6812*** (4,79) (5,07) (5,34) SEM 0,1259 0,0739 0,4967 (1,22) (1,15) (0,71) ALTER -0,0467 -0,0278 -0,2429 (-0,81) (-0,86) (-0,59) TERMIN -0,6457** -0,3836** -3,7208* (-2,41) (-2,31) (-1,88) VTERMIN 0,8484** 0,5325*** 7,8821*** (2,57) (2,61) (3,31) GESCHLECHT 0,3307 0,1962 2,3369 (1,35) (1,37) (1,41) NAT 0,8790*** 0,5480** 7,7749*** (3,00) (2,92) (4,35) Beob. 426 (pseudo) R2 0,1101 0,1103 0,1711 Anmerkung: Abhängige Variable ist ERFOLG sowie PUNKTE. Die t-Werte sind in Klammern angegeben. ***/**/* bedeutet signifikant zum 1%/5%/10%-Niveau. Robuste Standardfehlerschätzung mittels Verfahren von Huber/White. Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 12

Berücksichtigung der Selektionsverzerrung Als nächstes haben wir versucht, die Tatsache der Selektionsverzerrung zu berücksichtigen. Dazu haben wir, wie vorhin beschrieben, im ersten Schritt zunächst die Variablen gesucht, welche unserer Meinung nach die Wahrscheinlichkeit einer Teilnahme am Practice Test beeinflussen. Dieses waren der Studiengang, das Alter und die Semesterzahl. Der Studiengang ist jedoch nicht ursächlich für die Teilnahmewahrscheinlichkeit, sondern wohl eher als eine Art Proxy-Variable anzusehen für eine latente Variable Anhand der Schätzgleichung werden die Residuen ermittelt und aus diesen wird die sogenannte INVERSE-MILLS-RATIO (lambda) ermittelt, welche dann im zweiten Schritt in die Schätzgleichung eingeht. Wir können sehen, dass der geschätzte Koeffizient der IMR hoch signifikant ist, was auf das Vorliegen einer Selektionsverzerrung hindeutet. Der Einfluss der übrigen Variablen hat sich nicht deutlich verändert. Warum macht man dann das ganze? Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit 1. Schritt: Selektionswahrscheinlichkeit 2. Schritt: Regressionsgleichung UEB Probit STUDIUM -0,3735*** (-9,49) SEM -0,1154* (-1,64) ALTER 0,0707** (2,22) PUNKTE OLS NR_UEB 3,5236*** (2,60) TERMIN 4,2317 (0,79) VTERMIN 14,2242*** (2,22) GESCHLECHT 1,670 (0,45) NAT 12,5953*** (2,76) λ 19,8020*** (4,29) Beob. 439 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 13

Vergleich der ermittelten Effekte Ein Vergleich der geschätzten Koeffizienten zeigt, dass ohne die Berücksichtigung der Selektionsverzerrung der Einfluss der Anzahl der Practice Tetst leicht überschätzt wurde, der Einfluss einer wiederholten Teilnahme und der Nationalität jedoch deutlich unterschätzt wurde. Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit OLS Heckman NR_UEB 3,6812 3,5236 überschätzt TERMIN -3,7208 4,2317 VTERMIN 7,8821 14,2242 unterschätzt GESCHLECHT 2,3369 1,670 NAT 7,7749 12,5953 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 14

Fazit Zusammenfassend kann man anmerken, dass die Einführung von Practice Tests im Fach Statistik in Form von Übungsblättern einen positiven Einfluss auf den Klausurerfolg hat. Hinzu kommen jedoch weitere Faktoren, wie die Nationalität der Teilnehmer, eine wiederholte Teilnahme, sowie die Anzahl der Practice Tests. Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit Die Einführung von zu bearbeitenden Übungsblättern entspricht einer lernfördernden Maßnahme im Sinne von Practice Tests Diese Maßnahme hat auf den ersten Blick einen positiven Effekt auf die Klausurergebnisse der Studierenden Weitere Einflussfaktoren sind die Nationalität, eine wiederholte Klausurteilnahme sowie die Häufigkeit der Bearbeitung der Übungsblätter Die Klausurergebnisse im Fach Statistik schwanken über die unterschiedlichen Studiengänge stark 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 15

Fazit Es muss bei der Analyse der Effekte solcher Practice Tests jedoch immer mit einer Selbstselektion der Teilnehmer gerechnet werden. Die Berücksichtigung ändert in unserem Fall jedoch nichts an den eigentlichen Ergebnissen. Lediglich die Effektstärke ändert sich Es ist also für die Studierenden generell sinnvoll, an einer solchen Massnahme teilzunehmen. Für die Dozenten stellen Practice Tests eine weitere Möglichkeit dar, die Erfolgsaussichten ihrer Studenten zu erhöhen Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit Bei Berücksichtigung des Selektionsprozesses ändern sich die Ergebnisse nicht von der Tendenz, wohl aber in ihrer Intensität. Der Effekt der Practice Tests wird leicht überschätzt Der Effekt einer wiederholten Klausurteilnahme wird deutlich unterschätzt Ausländische Studierende erreichen signifikant schlechtere Ergebnisse als deutsche Studierende Die Teilnahme an einer lernerfolgsfördernden Maßnahme unterliegt jedoch der Selbstselektion Die Wahrscheinlichkeit einer Teilnahme am Practice Test wird vom Studiengang, dem Alter der Studierenden und von der Semesterzahl beeinflusst 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 16

Kontakt Michael Westermann Anschrift Universität Duisburg-Essen – Campus Essen – Fachbereich Wirtschaftswissenschaften Universitätsstr. 12 45112 Essen e-Post westermann@vwl.uni-essen.de Homepage www.vwl.uni-essen.de/westermann/

Klausurerfolg – Chancen, Odds-Ratio und c2-Test Bestanden Chance Odds-Ratio c2 Insgesamt 40,05 % 0,67 Practice Test ja 55,56 % 1,25 2,32 14,32*** nein 35,03 % 0,54 Anz. der Übungsblätter 1 41,18 % 0,70 23,97*** 2 68,00 % 2,13 3 47,37 % 0,90 4 50,00 % 5 81,25 % 4,33 Geschlecht m 35,77 % 0,56 0,7716 1,47 w 41,92 % 0,72 Nationalität deutsch 43,09 % 0,76 2,09 7,36*** andere 26,58 % 0,36 Termin HT 33,33 % 0,5 0,51 11,96*** NT 49,72 % 0,99 Anmerkung: *** bedeutet signifikant zum 1%-Niveau Bestandsaufnahme Practice Tests Methodische Vorgehensweise Ergebnisse Fazit 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 18