SAM Self-Assessment-Test Mathematik an der Fakultät für Physik der Universität Wien im WS 2010/11 Franz Embacher Seminar Hochschuldidaktik in der Naturwissenschaft 11. April 2011

SAM: Eckdaten Ziele: Erhebung mitgebrachter mathematischer Kompetenzen von StudienanfängerInnen möglichst frühes Feedback an die Studierenden Wurde durchgeführt zwischen 4. und 15. Oktober 2010 im Rahmen der Block-LV „Einführung in die Physikalischen Rechenmethoden I“ (= „Mathematische Grundlagen für das Physikstudium I“), einer Pflicht-LV für Studierende der Studienrichtungen Physik Bachelor Physik Lehramt Meteorologie Bachelor/Master, die auch von Studierenden der Astronomie besucht wird. Ergebnisbericht: Jänner 2011 (F.E. und Peter Reisinger, unter Mitarbeit von Hildegard Urban-Woldron und Ingrid Krumphals).

SAM: Inhalte Der SAM enthält 353 Einzelfragen aus 19 für das Physikstudium relevanten mathematischen Themenbereichen: 1.Zahlen 2.Terme und Formeln 3.Elemente der mathematischen Logik 4.Gleichungen 5.Gleichungssysteme 6.Ungleichungen 7.Funktionen allgemein 8.Lineare Funktionen 9.Quadratische Funktionen 10.Potenz- und Wurzelfunktionen 11.Funktionen und Funktionsgraphen allgemein 12.Winkelfunktionen 13.Exponentialfunktionen e und e 14.Logarithmus 15.Vektoren 16.Geometrie 17.Differenzieren allgemein 18.Regeln für das Differenzieren 19.Integrieren x –x

SAM: Inhalte / Punktesystem Unterabschnitte: entsprechen einigermaßen genau umrissenen Gruppen von Kompetenzen. Abgefragt wurden rechentechnische Fertigkeiten und Detailkenntnisse aus dem „Schulstoff“ konzeptuelles Wissen und Verständnis, das dem „Schulstoff“ entspricht. Akkordierung der Testfragen im WS 2009/10 unter Lehrenden, die in LVen des ersten Semesters involviert sind. Aus Zeitgründen keine Validierung vor Einsatz. Sommer 2010: Implementierung als Online-Test ( Jede Einzelfrage (multiple choice) konnte richtig oder falsch beantwortet werden (1 Punkt / 0 Punkte). Daneben gab es die Antwortmöglichkeiten „weiß die Antwort nicht“ und „verstehe die Frage nicht“. Nach Bearbeitung eines Themengebiets: Rückmeldung vom System per (Punktestand).

SAM: Durchführung Die Teilnahme am Test wurde den Studierenden der Physik als verbindlich erklärt. Resultate flossen aber nicht in die Note der LV ein. Zusätzlicher Anreiz: bei 17 bearbeiteten Themenbereichen  „Guthaben“ von 15% der erreichbaren Punktezahl bei der LV- Prüfung. Neben den Antworten auf die Fragen wurde erhoben bzw. ist aufgrund der Authentifizierung (Login) bekannt: Identität der Studierenden (  Geschlecht) Vorbildung (Reifeprüfung in welchem Schultyp bzw. Bildungsgang) Studienrichtung Geschätzter Zeitaufwand: 5 bis 30 Minuten pro Themenbereich.

Die Daten Nach erster Bereinigung der Daten: Datensätze von 219 Studierenden, die zumindest einen Themenbereich bearbeitet haben. Davon haben 172 alle 19 Themenbereiche bearbeitet  Auswertung Die 47 Studierenden, die nicht alle Themenbereiche bearbeitet haben: 13 Studierende … 18 Themenbereiche 3 … … 8 – … < 8

Absolvierte Themenbereiche

Testergebnisse insgesamt Gesamtverteilung der erreichten Punktezahlen (maximal erreichbar: 353) Die folgende Auswertung umfasst jene 172 Studierenden, die alle 19 Themenbereiche bearbeitet haben.

Testergebnisse insgesamt Im Mittel wurden (von 353) Punkte erreicht [= 69.2% der maximal erreichbaren Punktezahl]. Maximalwert: 339 Punkte [96.0%]. Minimalwert: 16 Punkte [4.5%]. Median: 254 Punkte [72.0%]. 14.5% der Studierenden erreichten weniger als die Hälfte der maximal möglichen Punktezahl (entspricht einem traditionellen „nicht genügend“). 9.4% der Studierenden erreichten mehr als 90% der maximal möglichen Punktezahl.

Testergebnisse und Geschlecht Geschlecht Mittlere Punktezahl (% d. max. Pktezahl) Standardabweichung (% d. max. Pktezahl) N weiblich (66.1%)59.9 (17.0%)51 männlich (70.4%)65.3 (18.5%)121 gesamt (69.2%)63.9 (18.1%)172 Unterschied: nicht signifikant Signifikanz (= p-Wert = Irrtumswahrscheinlichkeit) = 0.15 Effektstärke  = Gruppen: Die Gruppe mit weniger als 50% der maximalen Punktezahl besteht aus 13.7 % der weiblichen und 14.9% der männlichen Studierenden. Die Gruppe mit mehr als 90% der maximalen Punktezahl besteht aus 3.9% der weiblichen und 12.4% der männlichen Studierenden. 2

Testergebnisse und Vorbildung blau: mittlere Punktezahl, rot: Standardabweichung, grau: Gruppengröße (x 10) p = 0.062,  = (nicht signifikanter, mittelgroßer Effekt) Aufgrund der großen Streuungen keine signifikante Aussage möglich. 2

Testergebnisse und Studienrichtung Studienrichtung Mittlere Punktezahl (% d. max. Pktezahl) Standard- abweichung (% d. max. Pktezahl) N Physik und Mathematik Lehramt (77.0%)43.6 (12.4%)21 Physik Bachelor (71.7%)59.2 (16.8%)79 Astronomie Bachelor (70.8%)58.4 (16.5%)12 Physik und Astronomie Bachelor (68.5%)69.8 (19.8%)9 Sonstige (56.7%)100.4 (28.4%)2 Meteorologie (62.8%)70.7 (20.0%)19 Physik und anderes Fach als Mathematik Lehramt (60.6%)72.2 (20.5%)30 gesamt (69.2%)63.9 (18.1%)172

Testergebnisse und Studienrichtung blau: mittlere Punktezahl, rot: Standardabweichung p = 0.02,  = (signifikanter schwacher Effekt) 2

Testergebnisse und Studienrichtung Die Gruppe der Lehramts-Studierenden zerfällt in zwei Teilgruppen (mit/ohne Mathematik als zweites Fach) Physik Bachelor: 2. Rang!

Testergebnisse nach Themenbereichen Verteilung innerhalb der Themenbereiche  Ergebnisbericht Themenbereich Anteil der Studierenden mit weniger als der Hälfte der erreichbaren Punktezahl 19. Integrieren 42.4% 16. Geometrie 36.6% 5. Gleichungssysteme 35.5% 11. Funktionen und Funktionsgraphen allgemein 34.9% 15. Vektoren 34.3% 17. Differenzieren allgemein 32.0% 18. Regeln für das Differenzieren 32.0% 7. Funktionen allgemein 31.4% 13. Exponentialfunktionen e x und e - x 15.1% 12. Winkelfunktionen 14.5% 8. Lineare Funktionen 14.0% 14. Logarithmus 13.4% 9. Quadratische Funktionen 8.1% 10. Potenz- und Wurzelfunktionen 7.6% 4. Gleichungen 7.0% 6. Ungleichungen 5.8% 2. Terme und Formeln 4.1% 1. Zahlen 1.7% 3. Elemente der mathematischen Logik 1.7%

Testergebnisse nach Themenbereichen Anteil der Studierenden (in%) mit weniger als der Hälfte der erreichbaren Punktezahl

Testergebnisse nach Themenbereichen Anteil der Studierenden (in%) mit weniger als der Hälfte der erreichbaren Punktezahl Analysis und Geometrie (inkl. Vektoren) Spezielle Funktionen und ihre Eigenschaften (wenig mathematisches Orientierungswissen nötig) Algebra und elementare Funktionstypen

Einzelfragen mit den schlechtesten Ergebnissen Themenbereich 1: Zahlen/Unterabschnitt 4/Frage 4 (0.6% richtige Antworten, absolut: 1): Eine Antwort ist richtig: Antwortmöglichkeiten: 42/3, 18/7, 2/7. = Weitere Fragen in dieser Hitlist betreffen: 1/3 – 1/2 Vorzeichen von e und e für positive x Ableitung als Grenzwert eines Differenzenquotienten f(x+  ) – f(x) f(x+  ) + f(x)   u.ä. vs. x –x

Einzelfragen mit den schlechtesten Ergebnissen Drückt f(x) = 3x + 1 eine direkte/indirekte/keine Proportionalität zwischen unabhängiger Variable und Funktionswert aus? Drückt G(H) = 2/(H + 1) eine direkte/indirekte/keine Proportionalität zwischen unabhängiger Variable und Funktionswert aus? Die Menge aller (x, y, z), die y = 2x + 1 erfüllen, ist eine Kugel, eine Ebene, eine Gerade.

Empfehlungen an die Fakultät In den LVen der mathematischen Grundausbildung Analysis, Geometrie und Vektorrechnung ausführlicher behandeln als derzeit vorgesehen. Angleichung der stark variierenden Kompetenzen (Lernformen, die die Studierenden verstärkt aktivieren). Standardisierung der für ein Physikstudium nötigen mathematischen Kenntnisse und Kompetenzen, inklusive der in der mathematischen Grundausbildung gelehrten (für Lehrende – zur Planung der LVen – und für Studierende – zum Nachlernen)  Online-Angebot als „Referenz“ und „Skriptum“ gleichzeitig?

Empfehlungen an die Fakultät Zukünftige Einsätze des SAM: Kürzen, aber nicht allzu radikal. (Kompetenzen, die heute fast immer gemeinsam vorhanden oder nicht vorhanden sind, könnten in Zukunft auseinandertreten!) Einige problematische Fragen ändern (z.B. muss in einer Frage erkannt werden, dass ein Kreis eine Ellipse ist). Koppeln mit Erhebung des Lernfortschritts. Untersuchung, inwieweit wirken sich anfängliche mathematische Kompetenzlücken auf den späteren Studienerfolg auswirken. Längerfristiges Monitoring: Frühzeitig Trends im Mathematikunterricht (Zentralmatura,…) erkennen/abfangen.

Danke für eure/Ihre Aufmerksamkeit! Diese Präsentation und den ausführlichen Ergebnisbericht gibt‘s im Web unter