1 Schulnoten Referentin: Julia Kahrass Seminar „Pädagogische Diagnostik“ Dozent: Martin Brunner Semster: SS 2006 Institut für Psychologie, Naturwissenschaftliche Fakultät II Humboldt-Universität zu Berlin

2 Inhalt 1. „Schon die alten Römer…“ – historische Wurzeln der Notengebung 2. Funktionen von Schulnoten 3. Empirische Eigenschaften von Schulnoten 3.1 situative Einflüsse 3.2 Objektivität 3.3 Reliabilität 3.4 Validität - Baron-Boldt, Schuler, Funke, Fazit

3 1. „Schon die alten Römer…“ – historische Wurzeln der Notengebung Rhetorenschulen: Rangieren und Certieren Rhetorenschulen: Rangieren und Certieren Jesuitenschulen: Ränge wurden zusammengefasst und nummeriert Jesuitenschulen: Ränge wurden zusammengefasst und nummeriert => heutiges Beurteilungssystem mit sechsstufiger Notenskala 1599 schon vorhanden! im 18. Jh. Einführung allg. Schulpflicht im 18. Jh. Einführung allg. Schulpflicht => Zeugnisse zur Kontrolle des Schulbesuchs => Zeugnisse zur Kontrolle des Schulbesuchs ca. seit 19Jh. Besetzung attraktiver Positionen nicht mehr von Herkunft abhängig => Reifezeugnisse ca. seit 19Jh. Besetzung attraktiver Positionen nicht mehr von Herkunft abhängig => Reifezeugnisse seit 1927 in Deutschland nur noch Notenskala seit 1927 in Deutschland nur noch Notenskala

4 1. „Schon die alten Römer…“ – historische Wurzeln der Notengebung zunächst soziale Bezugsnormorientierung, zunächst soziale Bezugsnormorientierung, seit Ende 60ger sachliche Bezugsnormorientierung (= "kriteriumsorientierte Messung") => Anspruch der Notengebung steigt! Schulnoten besitzen nur Ordinalskalenniveau Schulnoten besitzen nur Ordinalskalenniveau => Mittelwertsbildungen streng genommen nicht erlaubt! „…Psyeudoarithmetik - jedoch ökonomisch, überschaubar, verständlich…“ Infogehalt im oberen Skalenbereich größer als im unteren Infogehalt im oberen Skalenbereich größer als im unteren

5 Inhalt 1. „Schon die alten Römer…“ – historische Wurzeln der Notengebung 2. Funktionen von Schulnoten 2.1 pädagogische Funktion 2.2 gesellschaftliche Funktion 2.3 Funktion für die psychologische Forschung 3. Empirische Eigenschaften von Schulnoten 4. Fazit

6 2.1pädagogische Funktion Sozialisationsfunktion Sozialisationsfunktion Berichtsfunktion BerichtsfunktionSelbstkontrollfunktionOrientierungsfunktion Anreizfunktion Anreizfunktion

7 2.2gesellschaftliche Funktion Selektionsfunktion Selektionsfunktion Kontrollfunktion Kontrollfunktion Weichenstellfunktion Weichenstellfunktion Effizienssicherung Effizienssicherung

8 2.3Funktion für die psychologische Forschung eignungsdiagnostische Fragestellungen: Prädiktoren im Zusammenhang mit der Debatte um den N.C. Prädiktoren im Zusammenhang mit der Debatte um den N.C. Konstruktvalidierung von Berufseignungstests, Intelligenz- und Schulleistungstests Konstruktvalidierung von Berufseignungstests, Intelligenz- und Schulleistungstests => Vorteil von Noten: ihre leichte Verfügbarkeit!

9 Inhalt 1. „Schon die alten Römer…“ – historische Wurzeln der Notengebung 2. Funktionen von Schulnoten 3. Empirische Eigenschaften von Schulnoten 3.1 situative Einflüsse 3.2 Objektivität 3.3 Reliabilität 3.4 Validität - Baron-Boldt, Schuler, Funke, Fazit

10 3.Empirische Eigenschaften von Schulnoten "Die Ergebnisse sagen nicht mehr und nicht weniger, als dass für unser gesamtes schulisches Berechtigungswesen keine sachliche Rechtfertigung besteht. Die Annahme, der Schüler, der seiner guten Zensuren wegen von der Aufnahmeprüfung dispensiert wurde, weise bessere Schulleistungen auf als der Sitzenbleiber in einer anderen Klasse, ist bloße Spekulation. Wann sagen wir ehrlich, dass kein Lehrer aus den Zeugnissen eine vergleichbare Aussage über die Schulleistung von Schülern verschiedener Klassen entnehmen kann? Wann geben unsere Universitäten offen zu, dass es unsinnig ist, unter zwei Bewerbern aus verschiedenen Schulen, Städten oder gar Bundesländern einen nach den Abiturnoten auszuwählen?“ Ingenkamp, 1973

11 3.1situative Einflüsse auf die Notengebung 3.1.1Klassengröße - kleine Klassen günstiger! 3.1.2schulartspezifische Benotung - je „höher“ die Schule, desto strenger die Benotung

Fächerspezifische und schulstufenspezifische Benotung Grundschule: Deutsch & Mathe am strengsten Grundschule: Deutsch & Mathe am strengsten weiterführende Schulen:Deutsch, Mathe, Fremdsprachen am strengsten weiterführende Schulen:Deutsch, Mathe, Fremdsprachen am strengsten Religion, Kunst, Musik am mildesten Verschlechterung im Laufe der Grundschule, jedoch günstiger als Normaverteilung es zulässt Verschlechterung im Laufe der Grundschule, jedoch günstiger als Normaverteilung es zulässt Sekundarstufe => Notenknick (außer Hauptschüler) Jahr vor einem Schulabschluss besonders strenge Bewertung, Abschlussnoten besser Jahr vor einem Schulabschluss besonders strenge Bewertung, Abschlussnoten besser

bundeslandspezifische Tendenzen Abitursdurchschnitt 1973 Berlin: 3,1 Bayern: 2,6 => Ursache bessere Bewertung oder tatsächlich bessere Leistungen?

14 Inhalt 1. „Schon die alten Römer…“ – historische Wurzeln der Notengebung 2. Funktionen von Schulnoten 3. Empirische Eigenschaften von Schulnoten 3.1 situative Einflüsse 3.2 Objektivität Fehler in der Urteilsbildung Verbesserung der Objektivität 3.3 Reliabilität 3.4 Validität - Baron-Boldt, Schuler, Funke, Fazit

15 3.2Objektivität uneindeutige Befundlage und Meinungen in der Literatur uneindeutige Befundlage und Meinungen in der Literatur ältere Studien: große Beurteilungsdifferenzen - nicht nur bei sprachlichen Leistungen (Aufsatz) sondern auch bei Matheleistungen ältere Studien: große Beurteilungsdifferenzen - nicht nur bei sprachlichen Leistungen (Aufsatz) sondern auch bei Matheleistungen neuere Studien bzw. andere Autoren: „Die meisten Urteile weichen wenig voneinander ab" neuere Studien bzw. andere Autoren: „Die meisten Urteile weichen wenig voneinander ab" - Bsp. Aufsatzbeurteilung: r= (Ingenkamp, 1989; Lehmann, 1990) (Ingenkamp, 1989; Lehmann, 1990) - Bsp. Psychologie-Abschlussklausuren - Werte bei mündlichen Prüfungen schlechter… grundlegende Schwäche von Schulnoten: grundlegende Schwäche von Schulnoten: die mangelnde Vergleichbarkeit Es fehlen klassenübergreifende Maßstäbe!

Fehler in der Urteilsbildung Die Rolle des Lehrers Lehrer = Messinstrument Lehrer = Messinstrument diagnostische Leistung = sachgerechte Beobachtung & zutreffende Deutung diagnostische Leistung = sachgerechte Beobachtung & zutreffende Deutung menschl. Datenverarbeitungskapazität begrenzt! menschl. Datenverarbeitungskapazität begrenzt! Lehrer beurteilen sich bei der Notengebung zugleich selbst! Lehrer beurteilen sich bei der Notengebung zugleich selbst!

Fehler in der Urteilsbildung Durch welche Faktoren wird die Objektivität in der Notengebung verzerrt ?

Fehler in der Urteilsbildung Geschlecht des Lehrers und des Schülers Sympathie / Antipathie Vorinformationen über den Schüler - soziale Stereotype Sozialschicht fachfremde Beurteilungskriterien Unterschiede in der Bezugsnorm - klasseninterne Bezugssysteme

Geschlecht des Lehrers und des Schülers Mädchen oft bessere Noten als nach objektiven Leistungstests zu erwarten Mädchen oft bessere Noten als nach objektiven Leistungstests zu erwarten Carter, 1952 Carter, 1952 Lehrer strenger als Lehrerinnen Jungen strenger als Mädchen zensiert Interaktionseffekt Lehrerinnen-Mädchen Bleck & Teichmann, 1978 Bleck & Teichmann, 1978 Unterschiede vor allem Klasse, danach Angleichung bei "weiterführenden Examina" Unterschiede kaum noch vorhanden Ursachen: reifungsbedingte Entwicklungsvorsprünge der Mädchen, erst in zweiter Linie "normangepassteres, schulwilligeres" Verhalten Ursachen: reifungsbedingte Entwicklungsvorsprünge der Mädchen, erst in zweiter Linie "normangepassteres, schulwilligeres" Verhalten

Sympathie / Antipathie Korrelation von Schulleistungstests, Schülersympathie, Schulnoten: Korrelation von Schulleistungstests, Schülersympathie, Schulnoten: -hoher Zshang Schülersympathie und Schulnoten -sehr schwankende Zsahng Testleistung und Schulnote beliebte / sympathische Schüler: zu 50% bessere Note als Testleistung zu 16% schlechtere Note als Testleistung zu 16% schlechtere Note als Testleistung unbeliebte unsymp. Schüler: zu 50% schlechtere Note als Testleistung zu 19% bessere Note als Testleistung zu 19% bessere Note als Testleistung Objektivität bei Lehrern und Schülern höher (im Ggsz. zu Lehrerinnen und Schülerinnen)! Objektivität bei Lehrern und Schülern höher (im Ggsz. zu Lehrerinnen und Schülerinnen)!

Sympathie / Antipathie Kleber et al., 1976: Theorie der operanten Konditionierung 1. Schüler = Verstärker bzw. Strafreize 2. Lehrer will Bestrafung vermeiden => bewertet inkonforme Schüler durchgehend schlechter 3. Stabilisierung durch Pygmalioneffekt

Vorinformationen über den Schüler - soziale Stereotype Weiss, 1965: identische Mathearbeit identische Mathearbeit - Gruppe A: mathematisch begabter Schüler mit Neigung zu originellen Lösungen - Gruppe B: durchschnittl. begabter Schüler, unsaubere Form, schlampige Schrift identischer Schulaufsatz identischer Schulaufsatz - Gruppe A: Sohn eines Redakteurs, selbst eine Leseratte etc. - Gruppe B: Vater Eisenbahner, Desinteresse an der Schule, Lesen von Schundheften => sign. schlechtere Einstufung der Schüler Gruppe B

Sozialschicht repräsentative Chancengleichheit in D nicht verwirklicht Schullaufbahnempfehlung nach der Grundschule Steinkamp, 1967: 78% der Lehrer stellen Schullaufbahnempfehlung nicht nur aufgrund schulischer Leistungen aus => schichtspezifische Bewertung Übertrittsquoten aufs Gymnasium 1975: - Nichtarbeiter 43% - Facharbeiter 16% - Arbeiter 13%

Sozialschicht 1979: ungleiche Bewertung in der Grundschule wesentlich zurückgegangen Schullaufbahnempfehlungen relativ schichtunabhängig Quoten in Gesamtschulkursen relativ schichtunabhängig im selektiven Schulsystem jedoch: - Oberschicht: 18,7% Hauptschule, 81,3% Real./Gym. - Unterschicht: 67,9% Hauptschule, 32,1% Real./Gym.

Sozialschicht Wo liegen die Ursachen für diese Selektion? Wo liegen die Ursachen für diese Selektion? geringe Mobilität zw. Schularten Anregungsniveau in der Familie zu frühe Internalisierung von Versagen (Unterschicht) Begabung Begabung Informiertheit über Ausbildungsgänge Informiertheit über Ausbildungsgänge Beurteilungsverhalten der Lehrer lokales Angebot an Schulen lokales Angebot an Schulen Interessen Interessen Externalisierung von Problemen (Oberschicht) Externalisierung von Problemen (Oberschicht) Fähigkeit zum Bedürfnisaufschub Entscheidungshilfen für Eltern durch schulinternes Beratungssystem

Sozialschicht Wo liegen die Ursachen für diese Selektion? Wo liegen die Ursachen für diese Selektion? - Schülerpersönlichkeit - Begabungen - Fähigkeit zum Bedürfnisaufschub - Interessen - Familie - Schulsystem - Anregungsniveau- Beurteilungsverhalten - Informiertheit - Entscheidungshilfen für - Unterschicht: Internalisierung Eltern von Versagen- lokales Angebot (Förderunt.) von Versagen- lokales Angebot (Förderunt.) - Oberschicht: Externalisierung- geringe Mobilität zwischen von Problemen Schularten von Problemen Schularten

fachfremde Beurteilungskriterien Einbeziehung zusätzlicher Kriterien in die Notengebung Marchall, 1967: Gruppe A:Geschichtsarbeit ohne Fehler Gruppe B: Geschichtsarbeit mit absichtlich eingebauten Grammatik- und Rechtschreibfehlern => Gruppe A signifikant besser bewertet!

Unterschiede in der Bezugsnorm - klasseninterne Bezugssysteme Ingenkamp, 1969: Vergleich Schulnoten & objektive Leistungstestergebnisse – –(Test-)Leistungsniveau in Klassen sehr verschieden – –innerhalb einer Klasse hängt die Rangreihe der Noten mit der Rangreihe des Tests zusammen – –über die Klasse hinaus kaum Vergleichswert (r =.30) allerdings: curriculare Testvalidität nicht kontrolliert => für Schulnoten evtl. höhere inhaltliche Validität als für Testwerte

Verbesserung der Objektivität Durch welche praktischen Maßnahmen lassen sich die Mängel in der Objektivität verringern ? am radikalsten: Notengebung abschaffen, "direkte Leistungsvorbage“ (vgl. Vierlinger, 1978) vor jeder Bewertung genauen Kriterienkatalog viele Leistungsüberprüfungen mehrere Beurteiler Ergänzung durch Schulleistungstests bessere Ausbildung der Lehrer

30 Inhalt 1. „Schon die alten Römer…“ – historische Wurzeln der Notengebung 2. Funktionen von Schulnoten 3. Empirische Eigenschaften von Schulnoten 3.1 situative Einflüsse 3.2 Objektivität 3.3 Reliabilität Retest-Reliabilität Paralleltest-Reliabilität 3.4 Validität - Baron-Boldt, Schuler, Funke, Fazit

31 3.3Reliabilität 3.3.1Retest-Reliabilität Unser dreigliedriges, schon sehr früh trennendes Schulsystem setzt impliziert voraus, dass individuelle Schulleistungen zeitlich stabil sind   Haben Schulnoten tatsächlich eine hohe "Retestreliabilität"?  konzeptionelle Probleme: Merkmal "Schülerleistung" sowie die Anforderungen, die ja beide in die Notengebung einfließen, verändern sich mit der Zeit!

32 3.3Reliabilität 3.3.1Retest-Reliabilität für gemittelte Schulnoten: Grundschule: von Jahr zu Jahr bei r >.80 Sekundarstufe: Klasse: r >.70, danach niedriger Je größer der zeitliche Abstand, desto geringer die Retest-Rel. Fremdsprachen und Sport am stabilsten Stabilität interindividueller Differenzen nimmt mit Lebensalter zu

33 3.3Reliabilität 3.3.1Retest-Reliabilität Finlayson, 1974: 2 Aufsätze benotet, nach 2 Monaten Wiederholung => Korr Eells, 1930: 3 Kurzaufsätze, Abstand von 11 Wochen korrigiert

34 3.3Reliabilität 3.3.2Paralleltest-Reliabilität Finlayson, 1974: 2 Aufsätze (des selben Kindes) von 6 Beurteilern benotet, nach 2 Monaten Wiederholung => Korr Leistung eines Kindes in einem Aufsatz nicht repräsentativ für seine Fähigkeit, Aufsätze zu schreiben?

35 Inhalt 1. „Schon die alten Römer…“ – historische Wurzeln der Notengebung 2. Funktionen von Schulnoten 3. Empirische Eigenschaften von Schulnoten 3.1 situative Einflüsse 3.2 Objektivität 3.3 Reliabilität 3.4 Validität Inhaltsvalidität Kontruktvalidität prognostische Validität - Baron-Boldt, Schuler, Funke, ‘88 4. Fazit

36 3.4Validität Inhaltsvalidität...vorhanden, da Schulerfolg von Amts wegen durch Schulnoten definiert ist (Schulerfolg = Schulnoten)!

37 3.4Validität Konstruktvalidität Grundschule: Zusammenhang Schulnoten und Schultests r = => Schulnoten repräsentieren das Konstrukt Schulleistung nur unvollständig und enthalten neben der objektiven Leistung weitere, aufklärungsbedürftige Infos Korr. Gesamtnote und Intelligenz =.50

38 3.4Validität Konstruktvalidität Faktorenanalytische Betrachtung je nach Variablensatz ein- bis vierdimensionale Lösungen: 3 Faktoren in Sekundarstufenzeugnissen: Fremdsprachenfaktor (inkl. Deutsch), mathematisch-naturwissenschaftlicher Faktor, Sachfächerfaktor  Restvarianz!! systematische Urteilsartefakte auffindbar? - Grundschule: Intelligenz x Schultest.50 Alter x Schultest -.20 bis -.30 Geschlecht x Schultest max..20 soziale Herkunft x Schultest -.20

39 3.4Validität prognostische Validität Güte von Lehrurteilen / Schulnoten bei Zuordnung auf weiterführende Schulen? r prädikativer Wert eher mäßig, Tests liefern durchweg bessere Vorhersagen Ein allein auf Lehrerurteile gestütztes selektives Schulsystem ist dysfunktional!

40 3.4Validität prognostische Validität Güte von Schulnoten als Prädiktoren in Ausbildung und Beruf? 1. Althoff, 1986: Studie mit Krankenpfleger(innen) Korr. Schulnoten und Note Krankenpflegerprüfung: nicht sign.! Korr. Einstellungstest mit Krankenpflegerprüfung: hoch signifikant (r=.74)!

41 3.4Validität prognostische Validität 2. Metaanalyse von Baron-Boldt, Schuler &Funke (1988) Fragestellung: Wie hoch ist die Validität von Schulabschlussnoten zur Prognose von Ausbildungs- Berufs- und Studienerfolg? Gibt es angesichts der großen Variation der Ergebnisse vielleicht Moderatorvariablen, die für eine Variation der Validitätskoeffizienten verantwortlich gemacht werden können?

42 3.4Validität prognostische Validität Ergebnisse 61 deutschssprachige Einzelstudienn Gesamt-N: 30122, aufgeteilt in 2 Gruppen/Klassen: 1.Prädiktor: Haupt- und Realschulabschluss Kriterium: Ausbildungserfolg (N = 2064) r =.37 „…hohe Validitäten für ein einzelnes Verfahren…“ 2.Prädiktor: Abitur Kriterium: Studienerfolg (N = 26867) r =.46 „…bester einzelner Prädiktor für den Studienerfolg…“

43 3.4Validität prognostische Validität „Die Werte stehen den Validitätskoeffizienten der validesten eignungsdiagnostischen Verfahren (kognitive Leistungstests) zur Vorhersage von Ausbildungs- und Studienerfolg nicht nach!“  von Lienert 1967 geforderte Validitätskoeffizient von.70 für Einzelentscheidungen wird nicht erreicht! [Einschub: Auch in Kombination mit Testverfahren werden kaum die Validitätskoeffizienten erreicht, die begründete Einzelfallentscheidungen voraussetzen.] Warum Studienerfolg besser prognostizierbar?

44 3.4Validität prognostische Validität Suche nach Moderatorvariablen Studienerfogsprognose: keine Moderatorvariablen Ausbildungserfolgsprognose: "Veröffentlichungsform" & "Alter der Studie" => Bedeutung für die Praxis: Wert der Schulabschlussnoten für die Ausbildungsprognosen ist im Laufe der Zeit gesunken

45 3.4Validität prognostische Validität Betrachtung von Einzelprädiktoren (Schulfächer): Studienerfolg: Mathematiknote ist prädiktionsvalideste Einzelnote (.34) Chemie (.30) geringste Vorhersagekraft Sport (.07) und Kunst (.14) Ausbildungserfolg: Mathematik (.29) Biologie (.24) Chemie (.23) am schlechtesten Sport (.02)

46 3.4Validität prognostische Validität Betrachtung von Einzelkriterien: Studienerfolgsprognose: Vorexamenserfolg (etc.) wird durch Abitnote nicht valider vorhergesagt als Examenserfolg (etc.) Ausbildungserfolgsprognose: theoretischer Ausbidungserfolg besser vorhersehbar als praktischer (.35 vs..22) => In einer Gesellschaft der Weiterbildung und des Umlernens werden die kognitiven / theoretischen Komponenten einer Ausbildung immer wichtiger…

47 3.4Validität prognostische Validität Zusammenfassung: Studienerfolgsprognose: r =.46 keine Moderatoren Ausbildungserfolgsprognose: r =.37 „Alter“ & „Veröffentlichungsform“ Vorhersagekräftigstes Schulfach: Mathematik (vs. Sport) Studienerfolg besser voraussagbar als Ausbildungserfolg; innerhalb der Ausbildung Erfolg bei theoretischen Anteilen am besten vorhersagbar

48 Inhalt 1. „Schon die alten Römer…“ – historische Wurzeln der Notengebung 2. Funktionen von Schulnoten 3. Empirische Eigenschaften von Schulnoten 3.1 situative Einflüsse 3.2 Objektivität 3.3 Reliabilität 3.4 Validität - Baron-Boldt, Schuler, Funke, Fazit

49 4.Fazit Zensuren sind weder so schlecht, wie sie hingestellt werden noch so gut, wie sie ihrem Anspruch nach sein müssten. Es fehlt an geeigneten Alternativen! Trotz verschiedener Verbesserungsansätze bleibt Praxis hinter Erkenntnissen zurück. Für weitreichende Entscheidungen sollten valide Schultests als Korrektiv eingesetzt werden.