Erfassung von Schülerleistungen SE Themen der pädagogisch-psychologischen Diagnostik Sommersemester 2006, Dozent: Dr. Martin Brunner Referentin: Juliane Güther

Gliederung 1.Einführung 2.Definition und Gegenstandsbestimmung 3.Standardisierte Schulleistungstests 3.1 Bezugsnormen 3.2 Konstruktion 3.3 Arten 3.4 Funktionen 3.5 Einwände/Nachteile 3.6 Nutzen 4. Beispieltests zur Erfassung mathematischer Fähigkeiten 4.1 DEMAT PISA-Erfassung der mathematischen Grundbildung 5. Zusammenfassung 6. Literatur

1. Einführung Quantifizierung von Leistung in Schule hat Tradition (Notengebung) Erfassung ist schulrechtlich verankerte pädagogische Pflicht des Lehrers –z.B. durch Klausuren, Hausarbeiten, mündliche Prüfungen, Tests, Gespräche, Produktionen, Präsentationen Verfahren sollten Schüler ermöglichen Potential angemessen zeigen zu können Welche Rolle spielen standardisierte Schulleistungsmessungen?

1. Einführung Prozess des Lernens: Aufmerksamkeits- und Verarbeitungsleistung Übungs- und Gedächtnisleistung Reproduktionsleistung Problemlöse- und Transferleistung individuelle Schulleistung als Endprodukt der einzelnen Lern- und Teilleistungsprozesse aktuelle Schulleistung ist Ergebnis langfristig wirksamer und hierarchisch organisierter mentaler Prozesse Schulleistung ist persönliches Merkmal, welches zwischen Schülern variiert und gewisse zeit- und situationsübergreifende Stabilität aufweist

2. Definition und Gegenstandsbestimmung Welchen Umfang, Niveau, Qualität an Wissen, Fertigkeiten, Einsichten, Werthaltungen, Kompetenzen etc. hat ein Schüler in einem bestimmtem Sach- oder Lebensbereich erworben? Verfahren zur Datenerhebung: –formelle, standardisierte Tests –subjektive Verfahren Leistung wird anhand von Gütemaßstäben bewertet

2. Definition und Gegenstandsbestimmung In Leistungsbeurteilung fließen Merkmale des Beurteilten, des Beurteilers sowie der (Unterrichts-) Situation ein manifeste Leistung in aktueller Leistungssituation vs. individuelles Leistungspotential Studie Hadley (1979): Leistungsurteile durch Lehrer teilweise stark abhängig von Sympathie gegenüber Schüler  standardisierte Schulleistungstests –um Schüler optimale Leistungsgelegenheit zu bieten –zur Objektivierung der schulischen Leistungsbeurteilung

2. Definition und Gegenstandsbestimmung Definition Schulleistungsdiagnostik (Langfeldt): …ist die systematische Beschreibung und anschließende Bewertung eines aktuellen Wissens- oder Fähigkeitsstatus von Lernenden bzgl. eines umschriebenen Inhaltsbereiches.

3. Standardisierte Schulleistungsleistungstests nach Regeln der KTT entwickelt Gütekriterien: Objektivität, Reliabilität, Validität, Ökonomie, Normierung, Vergleichbarkeit, Nützlichkeit, Fairness besitzen je nach Zielstellung unterschiedliche Bezugsnormen

3. Standardisierte Schulleistungsleistungstests 3.1 Bezugsnormen Kriteriums – vs. normorientierter Ansatz: Testtypen unterscheiden sich in pädagogischer Funktion Kriteriumsorientierter Ansatz der Schulleistungs- messung (Modifikationsfunktion) Schulisches Lernen meist kumulativ  Lernansprüche verändern sich hat Schüler bestimmtes Lernziel / Lernkriterium erreicht? individuelle Lernfortschritte in konkreter Lernumgebung eher an Feinlernzielen orientiert  inhaltliche Validität im Mittelpunkt

3. Standardisierte Schulleistungsleistungstests 3.1 Bezugsnormen Kriteriums – vs. normorientierter Ansatz: Normorientierter Ansatz der Schulleistungsmessung (Lernleistungskontrolle) herkömmliche standardisierte Schulleistungstests sind normorientiert an allgemeineren, durch Lehrpläne vorgegebenen und überregional gültigen (Grob-)Lernzielen normiert Vergleich individueller Schülerleistungen mit der Durchschnittsleistung (Norm) einer Bezugsgruppe (Klasse, Schulform, Altersgruppe)  interindividuelle Leistungsunterschiede  prädiktive Validität im Mittelpunkt (gut für Schulerfolgsprognosen geeignet) Sozialbezogene Norm: Stand des Schülers verglichen mit durchschnittlichem Leistungsniveau der Klasse- Rangplatz in Klasse, individuelle Lernfortschritte schwer sichtbar, weil u.U. relative Position in Klasse gleich geblieben Individuelle Norm: Lernerfolg an vorherigem Leistungsstand gemessen

3. Standardisierte Schulleistungsleistungstests 3.1 Bezugsnormen Konstruktvalidität  zugrundeliegende Lernstrukturen und –prozesse der beobachtbaren Schulleistungen Aussagen über Effektivität des Unterrichts von Lehrerseite Vorraussetzung curriculare Validität Internationale Schulleistungsmessungen (PISA etc.) müssen curricular valide sein

3. Standardisierte Schulleistungsleistungstests 3.2 Konstruktion Inhalt, Art und Umfang der zu erfassenden Leistungen Zielgruppe Zweck des Testeinsatzes –problematisch, wenn komplexere Lernziele (z.B. zu Begriffsstrukturen) formuliert und gemessen werden sollen, –es gibt noch keine allgemein anerkannte Konzeption zur Strukturierung von Lernzielen

3. Standardisierte Schulleistungsleistungstests 3.3 Gliederung von Tests (nach Ingenkamp, 1997): Fächerübergreifende Schulleistungstests Allgemeine Deutschtests Rechtschreibtests Lesetests Wortschatztests Sonstige Deutschtests Tests für Rechnen und Mathematik Fremdsprachentests Tests für naturwissenschaftliche Fächer

3. Standardisierte Schulleistungsleistungstests 3.4 Funktionen Unterrichtsoptimierung (Instrument der Planung, Überwachung und Steuerung) Schülerrückmeldefunktion zum Stand der Leistungen und Lernfortschritt (Fördermaßnahmen / Gestaltung der Lernumwelten)  Konsequenzen für motivationale Orientierung Entscheidungsfunktion (Schullaufbahnberatung)

3. Standardisierte Schulleistungsleistungstests 3.5 Einwände mangelnde curriculare Validität –veraltete Testnormen, Veränderungen schulischer Lehrpläne Bedrohung der Lehrfreiheit mit Überbetonung der „reinen“ Wissensvermittlung bzgl. schultestrelevanter Lernanforderungen nur Erfassung von Lernergebnissen und nicht schüler- und unterrichtsrelevanter Lernleistungsvoraussetzungen –Erfassen von Vorwissen, Lernkompetenzen, sozialem Lernumfeld uvm. muss mit kombinierten Verfahrensansätzen erfolgen (z.B. kognitive Fähigkeitstests oder Leistungsmotivationsskalen) zu wenige fachspezifische Schultests verfügbar Kosten –informelle „teacher-made“ Tests als kostengünstigere Alternative

3. Standardisierte Schulleistungsleistungstests 3.6 Nutzen standardisierte Messinstrumente zur Reduzierung bzw. Kontrolle von Urteilsfehlern –Schätzurteile (von Lehrern) fehleranfällig (Erwartungseffekte, soziale Vorurteile, implizite Persönlichkeitstheorien…) Verhinderung von Referenzrahmeneffekten (Urteilsbeeinträchtigungen durch untaugliche Maßstäbe) –Erweiterung des Bezugsrahmens Verteilungsgerechtigkeit Berücksichtigung von Antezedensbedingungen (Leistungsvoraussetzungen) erweitern Befunde –z.B. Skalen zu sog. Schlüsselqualifikationen, zur Testmotivation, sozialen Kontextbedingungen

4.1 DEMAT 2+ Diagnostische Zielsetzung Gruppentest zur Erfassung der mathematischen Kompetenz von Schulkindern am Ende der 2.Klasse/Anfang der 3.Klasse (curricular valide) 10 Subskalen mit 36 Aufgaben –Zahleneigenschaften, Längenvergleich, Addition und Subtraktion, Verdoppeln, Division, Halbieren, Rechnen mit Geld, Sachaufgaben (im Vgl. zu DEMAT 1+ mit Notieren des Lösungswegs), Geometrie 3 große Inhaltsbereiche: –Arithmetik –Größen –Geometrie Pseudoparallelformen A und B Dauer: 45 Minuten

4.1 DEMAT 2+ Itemkennwerte / Testgütekriterien Eichung an 4014 Kindern aus allen deutschen Bundesländern Signifikante Mittelwertsunterschiede zwischen Mädchen und Jungen (besser), bei niedriger Effektstärke (d=0,37) –nach Geschlecht getrennte Normen Schwierigkeit Gesamttest Ende 2.Klasse: P=.55 Reliabilität: – Interne Konsistenz: α=.93 Kriteriumsvalidität –Mathematiknote: r=.66 –DEMAT 1+: r=.67 Prognostische Validität –Mathematiknote 4.Klasse: r=.64 (N=784)

4.1 DEMAT 2+ Beispielaufgabe Sachaufgabe: Arithmetische Fertigkeiten in Sachsituationen (hier Kombinationsaufgabe) Lilli, Leo und Timo kaufen sich Eis. Jeder von ihnen isst 7 Eiskugeln. Wie viele Eiskugeln essen die Kinder zusammen? Rechnung: 3 x 7 = 21 oder 7 x 3 = 21 oder = 21 Antwort: Sie essen zusammen 21 Eiskugeln. Richtige Antwort (mit oder ohne Rechnung): 1 Punkt Wenn nur richtiger Rechenweg: ½ Punkt

4.1 DEMAT 2+ Beispielaufgabe Geometrie: Räumliche Vorstellung über geometrische Figuren verbunden mit einfachen Zählfertigkeiten Lilli baut mit Würfeln. Aus wie vielen Würfeln hat sie die Figuren zusammengesetzt? Es sind 12 Würfel.

4.2 PISA- Erfassung der mathematischen Grundbildung Konzept der Mathematical Literacy: „Fähigkeit, die Rolle, die Mathematik in der Welt spielt zu erkennen und zu verstehen, begründete mathematische Urteile abzugeben und sich auf eine Weise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigen Lebens einer Person als eines konstruktiven, engagierten und reflektierenden Bürgers entspricht.“ (OECD) d.h. nicht nur Kenntnis mathematischer Sätze und Regeln und Verfahren, sondern verständnisvoller Umgang in vielfältigen Kontexten Kern: Anwenden als Prozess des Modellierens von Situationen mithilfe mathematischer Begriffe situatives Problem muss in mathematisches umgewandelt werden = Mathematisierung 2 Arten der Modellierung: rechnerische und begriffliche (Schwerpunkt) Modellierungsaufgaben

4.2 PISA- Erfassung der mathematischen Grundbildung Stoffgebiete: Arithmetik, Algebra, Funktionen, Proportionalität und Prozentrechnung, Geometrie (Schwerpunkt), Umgehen mit Daten und Stochastik (Schwerpunkt) Große Bandbreite an Aufgabenstellungen  mathematische Grundbildung homogener Fähigkeitsbereich ? Im PISA-Lesetest dreidimensionale Fähigkeitsstruktur mit spezifischen Leistungsprofilen (Informationen entnehmen, Interpretieren und Reflektieren) Argument: mathematische Grundbildung ist eindimensionales Fähigkeitssyndrom: –Bestimmte Kombination kognitiver Fähigkeiten in allen Teilbereichen: Logisch-deduktives Denken, Induktion, Verständnis für abstrakte Symbolsysteme und Verknüpfung von quantitativen, räumlich-figuralen u. verbalen Informationen –Mathematik ist eigene „Sprache“ –keine identifizierbaren Teildimensionen bei Unterscheidung nach kognitiven Anforderungen oder didaktischen Kategorien

4.2 PISA- Erfassung der mathematischen Grundbildung Inhaltliche Bedeutung der Skala „mathematische Grundbildung“ Systematik von Anforderungsmerkmalen –Komplexität des Modellierungsprozesses als grundlegendes Aufgabenmerkmal –Reproduktion, Verknüpfung, Verallgemeinerung, Offenheit für vielfältige Lösungsmöglichkeiten, Umfang der Verarbeitung, Notwendigkeit des Argumentierens, curriculare Wissensstufe, Kontext jedes Item wird auf diese Aufgabenmerkmale hin eingeschätzt –am wichtigsten sind Komplexität und curriculare Wissensstufe

4.2 PISA- Erfassung der mathematischen Grundbildung Schwierigkeitsstufen der Testaufgaben werden in Kompetenzstufen „übersetzt“ Stufe I: Rechnen auf Grundschulniveau Stufe II: Elementare Modellierungen Stufe III: Modellieren und begriffliches Verknüpfen auf dem Niveau der Sekundarstufe 1 Qualitativer Sprung von Stufe II zu III, als Standard mathematischer Grundbildung schafften 31% der deutschen Schüler Stufe IV: Umfangreiche Modellierungen auf der Basis anspruchsvoller Begriffe schafften 12% der deutschen Schüler Stufe V: Komplexe Modellierung und innermathematisches Argumentieren schafften 1,3 % der deutschen Schüler

4.2 PISA- Erfassung der mathematischen Grundbildung Beispielaufgabe und Auswertung: Unit „Äpfel“ Frage 3 Beantworten der Frage Bewertung der Antwort mithilfe der Bewertungsrichtlinie international standardisierte Bewertungsrichtlinien an bestimmten inhaltlich sinnvollen Punkten des Fähigkeits-kontinuums Grenzen, um Schülerantworten, die eine hohe Fähigkeit demonstrieren, von jenen, die auf eine niedrige Fähigkeit hinweisen, zu unterscheiden wichtig : Mittelmaß zu finden, zwischen theoretisch sinnvoller Differenzierung bei gleichzeitig möglichst geringem Vercodungsaufwand

4.2 PISA- Erfassung der mathematischen Grundbildung Auswertung 25–35% der Mathematik-Testzeit entfallen auf offene Items mit mehreren richtigen Antworten –theoretisch unendlich viele mögliche Schülerantworten Bewertung dieser Items / Übersetzung in Zifferncodes von geschulten Kodierern –Prozess: Marking- durchführende Person: Marker kriteriumsorientierte Rekrutierung der Marker standardisierte Marker-Trainings rotierte Zuteilung von Testheften zu Markern laufende Qualitätskontrollen bei der Vercodung der Schülerantworten Prozedur des Multiple Markings –in Feldtest: gewonnene Maße der Beurteilerübereinstimmung zur Identifikation schlecht anwendbarer Bewertungsrichtlinien für Verbesserung in Haupttest –im Haupttest: Überprüfung der konsistenten Anwendung der Bewertungsrichtlinien

4.2 PISA- Erfassung der mathematischen Grundbildung Ziel: Sicherung der Qualität des Marking-Prozesses durch eine konsistente Anwendung der Bewertungsrichtlinien Erfahrungen mit Untersuchungen: es ist möglich klare Kodieranweisungen zu entwickeln und zuverlässige Bewertungen zu erzielen Bewertungsrichtlinien in Marking Guide zusammengefasst

5. Zusammenfassung subjektive vs. standardisierte Verfahren zur Erfassung von Schülerleistungen mit jeweiligen Vor- und Nachteilen sinnvolle Ergänzung / Kombination von subjektiven Lehrerurteilen mit standardisierten formellen und informellen Tests zur Optimierung der Schüler- und Unterrichtsbeurteilung  gegenseitige Kompensation methodischer Unzulänglichkeiten …

6. Literatur Hofer, M. (1986). Sozialpsychologie erzieherischen Handelns. Göttingen:Hogrefe. Ingenkamp, K. (1997). Verzeichnis der deutschsprachigen Schultests. In Jäger, R.S., Lehmann, R.H. & Trost, G.(Hrsg.). Tests und Trends 11 (S ). Weinheim:Beltz. Krajewski, K., Liehm, S. & Schneider, W. (2004). DEMAT 2+ Deutscher Mathematiktest für zweite Klassen. Manual. Göttingen: Beltz Test. Langfeldt, H.P., Imhof, M. Schulleistungsdiagnostik. In Perleth, C.& Ziegler, A. (Hrsg.)(1999). Pädagogische Psychologie. Verlag Hans Huber Schlag, B. (1995). Lern- und Leistungsmotivation. Opladen:Leske + Budrich.