Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Zur Wirksamkeit von Practice Tests am Beispiel der Klausur Deskriptive Statistik Michael Westermann und Bianca Krol Universität Duisburg-Essen – Campus.

Ähnliche Präsentationen


Präsentation zum Thema: "Zur Wirksamkeit von Practice Tests am Beispiel der Klausur Deskriptive Statistik Michael Westermann und Bianca Krol Universität Duisburg-Essen – Campus."—  Präsentation transkript:

1 Zur Wirksamkeit von Practice Tests am Beispiel der Klausur Deskriptive Statistik Michael Westermann und Bianca Krol Universität Duisburg-Essen – Campus Essen – FB Wirtschaftswissenschaften 16. Juni SPSS-Academic Convention Weimar – 16./17. Juni 2004

2 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 2 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit 1.Bestandsaufnahme Agenda

3 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 3 Situation 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit Inhalte sind Deskriptive Statistik, Induktive Statistik und Wirtschaftsstatistik Klausuren werden jeweils zu zwei Terminen gestellt (Haupttermin/Nachtermin) Konstant hohe Durchfallquoten sowohl in den Klausuren zur Deskriptiven Statistik als auch zur Induktiven Statistik Statistik als Pflichtveranstaltung für Studierende der Fächer Betriebswirtschaftslehre (BWL), Wirtschafts- informatik (WIINF), Bachelor of Arts in Economics (BA)

4 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 4 Punkteverteilung der Klausur Deskriptive Statistik Anzahlø PunkteDurchfallquote 44243,359,95 % Anzahlø PunkteDurchfallquote 30842,761,69 % Anzahlø PunkteDurchfallquote 9948,047,47 % Anzahlø PunkteDurchfallquote 3535,380,00 % Anmerkung: Insgesamt konnten 120 Punkte erzielt werden. 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit

5 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 5 Weitere Fakten 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit Anzahlø PunkteDurchfallquote Geschlecht m29143,964,23 % w13741,858,08 % Nationalität deutsch36244,756,91 % andere7937,173,42 % Termin HT26141,266,67 % NT13746,250,28 %

6 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 6 Practice Tests in der empirischen Sozialforschung 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit Arten von Feedback -itemspezifisches Feedback (answer-until- correct)/Kennzahlen -sofortiges Feedback/verzögertes Feedback Empirische Untersuchungen zur Auswirkung von Practice Tests und Feedbackformen auf die tatsächlichen Prüfungsleistungen -Dempsey/Litchfield/Driscoll (1993), Bol/Hacker (2001), Epstein/Epstein/Brosvic (2001), Jacobs (2001), Epstein et al. (2002), Dihoff/Brosvic/Epstein (2003) Methoden zur Steigerung des Lernerfolgs -Vorstellung einer teaching-testing-machine von Pressey (1926) -Probeklausuren -Dozentenreviews -permanente Lernerfolgskontrolle durch Übungsblätter

7 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 7 Practice Tests im Fach Statistik 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit Korrektur der Übungsblätter durch Mitarbeiter des Lehrstuhls Rückgabe der korrigierten Übungsblätter (mit Musterlösung) Den Studenten wird eine realistische Einschätzung der eigenen Leistung ermöglicht Lerndefizite werden aufgedeckt Die Motivation der Studenten, die Defizite bis zur tatsächlichen Prüfung zu beseitigen, wird angeregt Erfolg versprechende Maßnahme Semesterbegleitende Ausgabe von Übungsblättern (5 Stück)

8 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 8 Erste Ergebnisse 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit Anzahlø PunkteDurchfallquote Insgesamt44243,359,95 % Practice Test ja10849,944,44 % nein33441,164,97 % Anz. der Übungsblätter 13444,558,82 % 22552,932,00 % 31949,552,63 % 41450,150,00 % 51657,318,75 %

9 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 9 Methodische Vorgehensweise 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit Regressionsrechnung zur Bestimmung der Determinanten des Klausurerfolgs – lineare Einfachregression – Logit-/Probit-Schätzung Berücksichtigung der Selektionsverzerrung Deskriptive Analyse – Bestimmung von Odds und Odds-Ratios – 2 -Test auf Unabhängigkeit

10 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 10 Schätzproblem bei Selbstselektion 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit Selbstselektion führt bei Nichtberücksichtigung zu verzerrten Schätzergebnissen Selektionsmodell von Heckman (1976) berücksichtigt die Selektionsverzerrung Lösung Bestimme die Wahrscheinlichkeit einer Teilnahme am Practice Test Berücksichtigung dieser Wahrscheinlichkeit in der eigentlichen Schätzgleichung Erwartungstreue Schätzung der Einflussfaktoren Teilnahme an der lernfördernden Maßnahme ist freiwillig

11 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 11 Durch die Teilnahme am Practice Test steigt die Chance einer erfolgreichen Klausurteilnahme signifikant an. Odds- Ratio=1,25/0,54=2,3188 (statistisch signifikant zum 1%- Niveau) Die Chance einer erfolgreichen Teilnahme steigt mit der Anzahl der bearbeiteten Übungsblätter an. 0,7 bei einem Blatt; 4,33 bei allen bearbeiteten Blättern Die Nationalität und der Klausurerfolg sind nicht unabhängig. Odds-Ratio = 2,0914 (statistisch signifikant zum 1%-Niveau) Kein signifikanter Zusammenhang zwischen Geschlecht und Klausurerfolg Deskriptive Analyse 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit Die Wahrscheinlichkeit, die Klausur zu bestehen beträgt nur ungefähr 2/3 der Wahrscheinlichkeit, die Klausur nicht zu bestehen. Chance=0,4005/0,5995=0,6681

12 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 12 Schätzergebnisse der Regressionsanalyse 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit VariableLogitProbitOLS b0b0 -1,8575***-1,1454***29,9364*** (-4,57)(-4,31)(11,12) STUDIUM0,2785**0,1679**2,4960** (2,13)(2,10)(2,51) NR_UEB0,4282***0,2594***3,6812*** (4,79)(5,07)(5,34) SEM0,12590,07390,4967 (1,22)(1,15)(0,71) ALTER-0,0467-0,0278-0,2429 (-0,81)(-0,86)(-0,59) TERMIN-0,6457**-0,3836**-3,7208* (-2,41)(-2,31)(-1,88) VTERMIN0,8484**0,5325***7,8821*** (2,57)(2,61)(3,31) GESCHLECHT0,33070,19622,3369 (1,35)(1,37)(1,41) NAT0,8790***0,5480**7,7749*** (3,00)(2,92)(4,35) Beob.426 (pseudo) R20,11010,11030,1711 Anmerkung: Abhängige Variable ist ERFOLG sowie PUNKTE. Die t-Werte sind in Klammern angegeben. ***/**/* bedeutet signifikant zum 1%/5%/10%-Niveau. Robuste Standardfehlerschätzung mittels Verfahren von Huber/White.

13 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 13 Berücksichtigung der Selektionsverzerrung 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit 1. Schritt: Selektionswahrscheinlichkeit UEBProbit STUDIUM-0,3735*** (-9,49) SEM-0,1154* (-1,64) ALTER0,0707** (2,22) 2. Schritt: Regressionsgleichung PUNKTEOLS NR_UEB3,5236*** (2,60) TERMIN4,2317 (0,79) VTERMIN14,2242*** (2,22) GESCHLECHT1,670 (0,45) NAT12,5953*** (2,76) λ19,8020*** (4,29) Beob.439

14 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 14 Vergleich der ermittelten Effekte 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit OLS Heckma n OLS NR_UEB3,68123,5236 überschät zt TERMIN-3,72084,2317 VTERMIN7,882114,2242 unterschä tzt GESCHLECHT2,33691,670 NAT7,774912,5953 unterschä tzt

15 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 15 Fazit 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit Die Einführung von zu bearbeitenden Übungsblättern entspricht einer lernfördernden Maßnahme im Sinne von Practice Tests Diese Maßnahme hat auf den ersten Blick einen positiven Effekt auf die Klausurergebnisse der Studierenden Weitere Einflussfaktoren sind die Nationalität, eine wiederholte Klausurteilnahme sowie die Häufigkeit der Bearbeitung der Übungsblätter Die Klausurergebnisse im Fach Statistik schwanken über die unterschiedlichen Studiengänge stark

16 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 16 Fazit 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit Bei Berücksichtigung des Selektionsprozesses ändern sich die Ergebnisse nicht von der Tendenz, wohl aber in ihrer Intensität. –Der Effekt der Practice Tests wird leicht überschätzt –Der Effekt einer wiederholten Klausurteilnahme wird deutlich unterschätzt –Ausländische Studierende erreichen signifikant schlechtere Ergebnisse als deutsche Studierende Die Teilnahme an einer lernerfolgsfördernden Maßnahme unterliegt jedoch der Selbstselektion -Die Wahrscheinlichkeit einer Teilnahme am Practice Test wird vom Studiengang, dem Alter der Studierenden und von der Semesterzahl beeinflusst

17 KontaktMichael Westermann Anschrift Universität Duisburg-Essen – Campus Essen – Fachbereich Wirtschaftswissenschaften Universitätsstr Essen Homepagewww.vwl.uni-essen.de/westermann/

18 3. SPSS–Academic ConventionMichael Westermann/Bianca Krol – Practice Tests 18 Klausurerfolg – Chancen, Odds-Ratio und 2 - Test 1.Bestandsaufnahme 2.Practice Tests 3.Methodische Vorgehensweise 4.Ergebnisse 5.Fazit BestandenChanceOdds-Ratio 2 Insgesamt40,05 %0,67 Practice Test ja55,56 %1,252,3214,32*** nein35,03 %0,54 Anz. der Übungsblätter 141,18 %0,7023,97*** 268,00 %2,13 347,37 %0,90 450,00 %1 581,25 %4,33 Geschlecht m35,77 %0,560,77161,47 w41,92 %0,72 Nationalität deutsch43,09 %0,762,097,36*** andere26,58 %0,36 Termin HT33,33 %0,50,5111,96*** NT49,72 %0,99 Anmerkung: *** bedeutet signifikant zum 1%-Niveau


Herunterladen ppt "Zur Wirksamkeit von Practice Tests am Beispiel der Klausur Deskriptive Statistik Michael Westermann und Bianca Krol Universität Duisburg-Essen – Campus."

Ähnliche Präsentationen


Google-Anzeigen