Die Bewertung der produktiven Sprachaktivitäten Wiedenmayer, Dafni Universität Athen Die Bewertung der produktiven Sprachaktivitäten AILA World Congress 2008, Essen, 28.8.2008

bei den geschlossenen als auch bei den halboffenen Aufgaben ist der Ablauf der Testbewertung schnell, einfach und objektiv Bei den offenen Aufgaben erschwert sich dieser Prozess Die Bewertung eines Sprachtests kann sehr unterschiedlich ausfallen, und dies hängt von verschiedenen Faktoren ab

Solche Faktoren sind: die Rückwirkung des Tests das Profil der Bewerter das Bewertungssystem (bzw. Skalen, Raster und Kriterien)

Washback Effekt Die Rückwirkung von Tests auf die Mikro- und die Makroebene ist von großer Bedeutung, denn nur wenn ein Test eine positive Rückwirkung hat, kann er auch nützlich sein. Die sprachliche Norm, die die Forscher in ihrem Kopf haben, und im Rahmen derer die Tests stattfinden, beeinflusst die Ergebnisse (Fragoudaki 1985, Wiedenmayer 2006)

Die Ergebnisse des Tests beeinflussen im Voraus die Performanz der Kandidaten, d.h. auch die Augenscheinvalidität des Tests. 1. Frage Bestimmung der sprachlichen Norm

Das Profil der Bewerter Die Bewerter haben die schwere Aufgabe, die Entscheidung über die Qualität des Geschriebenen, bzw. des Gesprochenen zu treffen Bei geschlossenen Aufgaben, wie z.B. bei einer Multiple - Choice Aufgabe, ist es besonders leicht zu bewerten, oft auch ohne menschliche Einmischung. Problematisch erweist sich trotzdem die Bewertung der Produktion mündlichen und schriftlichen Ausdrucks. Altmeyer und Domisch (1998:6) Macaire (1998:10)

Wenn verschiedene Bewerter unterschiedliche Noten für die gleiche Arbeit geben, geht es um fehlende interpersonale Konstanz. Falls die Bewertungen eines Bewerters, die zu verschiedenen Zeitpunkten durchgeführt werden, nicht übereinstimmen, handelt es sich um mangelnde intrapersonale Konstanz (Glaboniatb, 1998)

Tschirner (2001) erwähnt einige Gründe zur Erklärung dieser mangelnden Inter- und Intrakonsistenz: Die Bewerter sind von ihren eigenen kulturellen Erfahrungen, von ihrem Fachgebiet, sowie von ihren früheren Erfahrungen in Bewertungen von Texten beeinflusst worden Auch eine Ablehnung oder Zustimmung mit dem Inhalt des Textes kann durch einen emotionalen und auch unbewussten Einfluss des Bewerters das Ergebnis ändern Die Konzentration besonders unerfahrener Bewerter auf Grammatik, Rechtschreibung und Interpunktion ändert das Ergebnis

Diese Defizite können durch eine gute Schulung der Bewerter beseitigt werden. Neben der Schulung ist auch die mehrfache Bewertung einzusetzen, damit die Subjektivität begrenzt und die Zuverlässigkeit des Tests erhöht wird. 2. Frage gute Schulung mehrfache Bewertung

Vorschläge zu 1. und 2. Bestimmung der sprachlichen Norm (Testentwickler) Mehrfache Bewertung (Testentwickler) Gute Schulung der Bewerter (Testdurchführung - Adressatengruppe)

Die empirische Forschung Es werden, anhand einer empirischen Forschung, Unterschiede zwischen 36 Bewertern bei der Bewertung eines Aufsatzes gezeigt.

Das Thema der Prüfung Sie leben mit einer oder mehreren Personen in einer Wohnung. Plötzlich merken Sie, dass Sie etwas brauchen und gehen dies kaufen. Hinterlassen Sie Ihrem Partner/ Ihrer Partnerin bzw. Ihren Mitbewohnern eine kurze Notiz von höchstens 50 Wörtern. Diese Notiz sollte Informationen zu folgenden Punkten beinhalten:   Was wollen Sie kaufen? Warum brauchen Sie dies unbedingt? Wann kommen Sie zurück? Bitten Sie Ihre Mitbewohner, etwas für Sie zu erledigen, da Sie keine Zeit mehr dazu hatten! Unterschreiben Sie als Alexis oder Alexia! Planen Sie für diese Aufgabe ungefähr 15 Minuten ein!

Die sprachliche Norm Kommunikationssituation Alltägliche Kommunikationssprache Textsorte und -länge Punkte als Plan Bekannte Aufgabenstellung (griechisches Staatszertifikat KPg)

Die Kandidaten SA Prüfung im Rahmen der Staatszertifikat-Prüfung (KPg) im November 2004 6 Probanden auf dem B2 Niveau 3 Schüler (S) an privaten Sprachinstitute 3 Germanistikstudenten (St) der Universität Athen

Das Profil der Bewerter 36 (35+1) Germanistikstudium (Diplom) Master (Richtung: Leistungsmessung- Leistungsbeurteilung) Schulung (für diese Prüfung)

Das Bewertungssystem Gemischtes (holistisch – analytisch) Bewertungssystem Das Bewertungssystem, anhand dessen, das Raster und die Bewertungskriterien (gilt auch für das griechische Staatszertifikat KPg www.ypepth.gr) entwickelt wurden, könnte „gemischtes Bewertungssystem“ genannt werden, da es Elemente sowohl vom holistischen als auch vom analytischen System beinhaltet (s. auch Τsopanoglou 2000). Genauso funktioniert auch das Bewertungsverfahren bei TestDaF (www.testdaf.de).  

Τσοπάνογλου (2000:116), übersetzt von Giakumelu (2005): Wichtigeres und allgemeines Kriterium: z.B. Kommunikative Fähigkeit Erstes Nebenkriterium: z.B. Morphosyntaktische Korrektheit Zweites Nebenkriterium: z.B. Textsortenangemessenheit Besonders befriedigend I 20 19 II 18 17 III 16 15 Befriedigend IV 14 13 V 12 11 VI 10 9 Ungenügend VII 8 7 VIII 6 5 IX 4 3 X 2 1

Anhand dieser Skala werden drei Kriterien vorbestimmt, aber die Punkte für jedes einzelne Kriterium werden nicht addiert. Zunächst geht es um eine erste, globale Bewertung auf Grund eines vorbestimmten Hauptkriteriums, dann kommt eine zweite auf Grund des zweiten Kriteriums und danach eine dritte anhand des dritten Kriteriums. Die erste Bewertung bestimmt den Rahmen, in dem die zwei weiteren Kriterien bewertet werden können.

Wenn z. B. ein Text auf Grund des ersten Kriteriums als „Besonders Befriedigend“ bewertet wird, kann dieser Text mit einer Punktzahl nur zwischen 15 und 20 bewertet werden. Auch wenn die zwei anderen Kriterien als „ungenügend“ betrachtet werden, können den Endpunkt nicht unter 15 gestalten. Im Gegensatz dazu kann ein Text, der bezüglich des zweiten und des dritten Kriteriums als „befriedigend“ betrachtet, der aber im Hinblick auf das erste Kriterium als „ungenügend“ bewertet wurde, nicht mehr als 8 Punkte (maximale Punktzahl: 20) erreichen. Daraus lässt sich schlussfolgern, dass das erste Kriterium die oberen und die unteren Grenzen bestimmt, innerhalb deren sich die zwei anderen Kriterien bewegen können. Auch das zweite Kriterium bestimmt erneut die Grenzen, innerhalb deren sich das dritte Kriterium bewegen kann.

1.Stadium: Holistische Bewertung zur Messung des ersten Hauptkriteriums 2.Stadium: Analytische Bewertung wegen der Berücksichtigung der zwei weiteren Kriterien 3.Stadium: Holistische Bewertung jedes einzelnen Kriteriums anhand eines positiven oder negativen Eindrucks. Dieses alternative System gilt als ein „gemischtes“ Bewertungssystem, das sich darum bemüht, die positiven Eigenschaften beider Systeme zu kombinieren (www.testdaf.de, www.ypepth.gr, Tsopanoglou 2000, Giakumelu 2005, Wiedenmayer 2006)

ΚPg – Phase II – B2 BEWÄLTIGUNG DER KOMMUNIKATIVEN AUFGABE TEXTAUFBAU UND LEXIKALISCHE KOMPETENZ GRAMMATISCHE/ ORTHOGRAPHISCHE KORREKTHEIT ITEM 1 2 3 Umfassend bewältigt Befriedigend 6 15 9 Nicht befriedigend 5,5 14 8 5 13 7,5 4,5 12 7 Mit Mängeln, aber befriedigend bewältigt 4 10 3,5 2,5 Nicht befriedigend bewältigt 1,5 0,5 Entspricht nicht der Aufgabenstellung, keine Antwort  

Bewertungskriterien - B2 Niveau Α. Bewältigung der Aufgabe Ausführliche, zusammenhängende und differenzierte Beschreibung oder Bericht und dabei auch Verbindung aller Themenpunkte miteinander; Ausführen einzelner Aspekte und geeignete Schlussfolgerung. Ausführliche Darstellung der Standpunkte und Stutz von geeigneten Beispielen oder Begründungen durch Unterpunkte. Sprachliche Mängel beeinträchtigen das Textverständnis nicht. B. Textaufbau und lexikalische Kompetenz Gut strukturierter Text und angemessene Verwendung von verschiedenen Mitteln zur Textverknüpfung. Auswahl von umfangreichen Formulierungen ohne Einschränkungen. Beherrschung eines großen Wortschatzes und problemloses Gebrauchen von Umschreibungen. Offensichtliches Suchen nach Worten oder der Rückgriff auf Vermeidungsstrategien sind selten. Gelegentliche kleinere Schnitzer, aber keine größeren Fehler im Wortgebrauch. C. Grammatische und orthographische Korrektheit Beständiges Beibehalten eines hohen Maßes an grammatischer Korrektheit; Fehler sind selten und fallen kaum auf. Die Gestaltung, die Gliederung in Absätze und die Zeichensetzung sind konsistent und hilfreich. Die Rechtschreibung ist, abgesehen von gelegentlichem Verschreiben, richtig. Nach: Gemeinsamer Europäischer Referenzrahmen für Sprachen (2001)

Die Ergebnisse der empirischen Forschung Texte – Gruppe A – (S) Lieber Andreas! Ich möchte Heute Abend einen Besuch machen. Da die Strümpfe schmutzig sind muss ich ein paar Neue kaufen. Ich bin jetzt in einem Geschäft das in der Stadtmitte liegt. Ich werde um 9 Uhr nach Hause zurück gehen. Ich Bitte dich die Heizung offnen. Ghüss bis bald, Alexis Mein Satz! Ich möchte Schokoladenkuchen backen und ich gehe Zucker kaufen! Schokoladenkuchen ohne Zucker gibt es nicht! Ich komme um 2 zurück! Spüll bitte die Tella! Alexia Liebe Maria, ich gehe Milch, Zucker, Essig, Mehl und eine Hose kaufen. Meine alte Hose ist kaputt und ich brauche eine neue! Kannst du bitte die Katze fressen? Ich komme am Nachmittag zurück!

Die Ergebnisse der empirischen Forschung Texte – Gruppe B – (St) Schatz, bin kurz bis zum Supermarkt gefahren, da im Kühlschrank keine süße Sahne mehr gab und ich heute Lust auf Carbonara habe. Falls du noch was willst, ruf mich auf den Handy an. Bin höchstens in 20 min. zurück. Wärst du so lieb schon mal die Nudeln zu kochen, bis ich wieder da bin. Danke, Alexia   Hallo Eleni! Wie geht΄s? Mir nicht so gut. Mein Kopf tut weh und ich brauche unbedingt Medikament. Ich gehe zur Apotheke. Ich komme in circa 30 Minuten zurück. Könntest du bitte Maria meine Bücher geben? Sie wird vorbeikommen und sie braucht sie für eine Hausarbeit. Meine Bücher sind im Buchregal. Bis bald also, Alexia Fahre kurz in die Stadt, zum Supermarkt. Ich muss dringend Bier u. tiefgefrorene Pizza kaufen. Am Abend kommen die Jungs vorbei u. den Film angucken. Komme in einer Stunde zurück. Würdest du inzwischen die Waschmaschine anstellen, da ich keine Zeit habe? Das wäre super von dir

Die Benotung der sechs Texte von 11 Bewertern ΚPg Raster (Staatszertifikat ) 6 Max. Punktzahl BEWERTER 1 2 3 4 5 7 8 9 10 11 NOTIZ 1 S 1,5 5,5 4,5 3,5 2 S 3 S 4 St 5 St 6 St

Die Beschreibung erneut formulieren Nur im 6. Text (perfekten Text) einig! Bei den anderen die Beschreibung der Kriterien anders verstanden! Die Beschreibung erneut formulieren Gemeinsamer Europäischer Referenzrahmen für Sprachen Kannbeschreibung soll jedesmal nach dem Prüfungsziel geeignet beschrieben werden Normsprache für die innere Kommunikation (Testentwickler – Bewerter)

Die Benotung der sechs Texte von 11 Bewertern BEWÄLTIGUNG DER KOMMUNIKATIVEN AUFGABE TEXTAUFBAU UND LEXIKALISCH E KOMPETENZ GRAMMATISCHE/ ORTHOGRAPHISCHE KORREKTHEIT ITEM 1 Umfassend bewältigt Befriedigend 6 Nicht befriedigend 5,5 5 4,5 Mit Mängeln, aber befriedigen d bewältigt 4 3,5 3 2,5 Nicht befriedigend bewältigt 2 1,5 0,5 Entspricht nicht der Aufgabenstellung, keine Antwort   ΚPg Raster (Staatszertifikat ) 6 Max. Punktzahl BEWERTER 1 2 3 4 5 7 8 9 10 11 NOTIZ 1 S 1,5 5,5 4,5 3,5 2 S 3 S 4 St 5 St

Der Test hat Augenscheinvalidität Der Test ist valid Der Test ist nützlich Positive Rückwirkung

Das Profil der Bewerter 36 (35+1) Germanistikstudium (Diplom) Master (Richtung: Leistungsmessung- Leistungsbeurteilung) Schulung (für diese Prüfung)

Die Normsprache und das Bewertungssystem Die Normsprache als innere Kommunikationssprache zwischen Testentwickler und Bewerter soll bestimmt werden Kode finden

Die Normsprache und das Bewertungssystem Diese „innere kodierte Kommunikationssprache“ soll auch für die Beschreibung der Bewertungskriterien gelten

Danke Dafni Wiedenmayer, Essen AILA 2008 so… Danke Dafni Wiedenmayer, Essen AILA 2008