Sauli Takala University of Jyväskylä 12. CercleS-Konferenz London September 2012

Überblick Die aktuelle Debatte zur Definition des Konstrukts beim Sprachenlernen Handlungsorientiertes Sprachenlernen und -bewerten: Vernachlässigung einiger relevanter Quellen und Quellenkritik Modelle der Sprachbewertung nach dem handlungsorientierten Ansatz Das Für und Wider der Checklistenmethode Bewerten mittels Checklisten Abschließende Bemerkungen

Definitionsversuch des Konstrukts der Sprachperformanz: Kompetenzfokussierung (z.B. Bachman 2002, 2006) Aufgabenfokussierung (z.B. Norris 2005) Interaktionsfokussierung siehe nächste Folie für einen Überblick zum Definitionsversuch des Konstrukts nach Bachman (2007; What is the construct? The Dialectic of Abilities and Contexts in Defining Constructs in Language Assessment. In Fox et al. Language Testing Reconsidered. Ottawa: U of Ottawa Press, 41-71)

Approaches to defining the construct in language testing/assessment, Bachman, 2007 KonstruktFertigkeit/MerkmalAufgabe/Inhalt Skills & elements; Lado, 1961; Carroll, 1961 Elemente / Aspekte / Niveaustufen / integrative Fertigkeiten Separate Punkte, integrative Aufgaben, Taxonomie der Aufgaben Direct testing, perform. ass Clark 72, Jones85, Wesche Spra.fertigkt in Aufgaben, Performanz im real. Leben reelle Aufgaben; authentische Übungen Pragmatic LT; Oller 1979Pragm. Gramm.erwartgenPragmatische Tests Communicative LT; Canale & Swain 1980 etc. Kommunikatives Konzept, allg. Sprachfertigkeit Sinnvolle komm. Sit.; authentische Aufgaben Interaction-ability: Bach- man 1990, Bach & Palm96 Komm. Sprachkompetenz, Sprachkompetenz Facetten v.Testmethoden; Aufgabencharakteristika Task.based perf. assessm1 Brindley1994, MacNam96 Fähigkeit zum Sprachgebrauch Simulation reeller Aufgaben Task-based perf.assessm2 Norris1998, Brown2002 Komp. zur Bewältigung konkr. Aufgaben /-typen Performanz in konkreten Aufgaben/-typen Minimalist interactionalist Kramsch1986, Chapelle98 Interaktionelle Kompetenz / Fähigkeiten Kollaborative Aktivitäten, Interaktionscharakter Strong interactionalist He&Young 98, Young00 Interaktionelle KompetenzDiskursive Methoden Moderate interact. Chalhoub-Deville03 Kompetenz des Individuums im Kontext

Gibt es grundlegende Unterschiede oder ist es nur eine Frage der Schwerpunktsetzung? Sind wir faktisch daran interessiert, herauszufinden, inwiefern Kompetenz für die Anwendung von Sprache zur Aufgabenbewältigung verantwortlich ist? Gibt es eine unvermeidliche Interaktion zwischen der Kompetenzstufe und der Aufgabenart? Repräsentieren Aufgaben die Ziele /erforderlichen Kompetenzen?

Einige hilfreiche frühe Quellen – zu einem bestimmten Grad vernachlässigt Linguistische Philosophie (besonders im Spätwerk Wittgensteins, Philosophische Untersuchungen, 1953) Soziologie und Sozialpsychologie (Kurt Lewin, Bales (1950), Festinger (1951), Watzlawick (1967) – Kommunikation und Interaktion in Kleingruppen Linguistischer Pragmatismus – besonders die frühe Kritik Austins (1955/1962) und Searles (1969) durch deutsche Pragmalinguisten (Wunderlich, 1972; Ehlich & Rehbein, 1972 – Praxeogramme...)

ROLLE/SOZIALE ROLLE: auch vernachlässigt? In der Sozialpsychologie wird die Rolle folgendermaßen definiert: die Menge aus Verhaltensweisen, Rechten und Pflichten, die von den Akteuren in einer sozialen Situation festgelegt werden. Es handelt sich um ein erwartetes, freies oder sich stetig veränderndes Verhalten, das einen bestimmten individuellen sozialen Status oder eine soziale Position vorsieht. Funktionalistisches und interaktionistisches Verständnis der Gesellschaft und allen sozialen Verhaltens, samt des kommunikativen Verhaltens (siehe nächste Folie) Arbeitsteilung – Interaktion zwischen heterogen spezialisierten Positionen/Rollen. Rollen sind von Individuen/Akteuren belegt. Soziale Rollen/soziales Verhalten sind durch soziale Normen bestimmt (Erwartungen, Grad der Konventionalität). Legitime und konstruktive Rollen – Belohnungserwartung (vs. Bestrafung). Veränderte soziale Bedingungen Veränderung der Rolle.

Externe Situation Interne Situation Code: Verwendung Personen: Ziele, Beziehungen Zeit, Ort, Störgeräusche Kanäle, Medien Thema/ Aspekt Verarbeitung: Input-Output Dynamik der situierten Interaktion

nach: Fischer et al., Guidelines for task-based university language testing. Graz: ECML, 2011, S. 21.

Puren, C. ( 2008). Formes pratiques de combinaision entre perspective actionnelle et approche communicative: analyse comparative des trois manuels. Langues Modernes. Zitiert nach Fischer et al., 2011, S. 22. (Beachten Sie die Einbeziehung der Rollen!)

Sprachtesten/-bewerten – Kernpunkte und Probleme Sprachtesten/-bewerten ist bekanntermaßen anspruchsvoll/komplex Sprachtesten/-bewerten sollte viele Kriterien erfüllen: (a) Es gibt viele Dinge, die zu beachten sind. (b) Es gibt eventuell Dinge, die man nicht gut genug kennt (unvermeidbarer Grad von Unwissenheit oder gar Untauglichkeit?). (c) Es kann ernshafte Konsequenzen haben. Kann man Sprachtesten/-bewerten weniger anspruchsvoll und komplex gestalten und vermeidbare Probleme/Fehler ausschließen?

Bewerten – Viele Dinge, die beachtet werden müssen Aspekte guten Sprachgebrauchs beobachten lernen, zuerst Beobachtung weniger guten Sprachgebrauchs zu vermeiden Beispielsweise beim Bewerten lernen, Folgendes zu vermeiden: Halo-Effekt Effekt der zentralen Tendenz Effekt der Einschränkung des Messbereichs Härte oder Nachsicht What about using Checklists?

Checklisten: Alltagsgebrauch – Einkaufszettel Checklisten/Bestandsaufnahmen – haben lange Tradition bspw. bei Persönlichkeitsfragebögen (Selbstevaluation, Vorlieben). Checklisten – häufiger Gebrauch im Gesundheitswesen/ bei der Pflege, im Flugverkehr/Piloten, im Bauwesen, … Gawande, A. (2010). The checklist manifesto. How to get things right. London: Profile Books. Western Michigan Checklist Project ( Scriven, M. (2000/2007). The Logic and Methodology of Checklists. Western Michigan University.

Abneigung gegenüber Checklisten – Vorwände Es ist unter unserer Würde, Checklisten zu benutzen, eine Beschämung. Es ist wider unserer tiefen Überzeugung davon, wie die wahrhaft Großen unter uns – die, welche wir erstreben zu sein – riskante und komplexe Situationen bewältigen. Die wahrhaft Großen sind wagemutig. Sie improvisieren. Sie haben keine Protokolle und Checklisten. Vielleicht braucht unser Heldenbild ein Update. (nach: Gawande, S. 173) Checklisten – langweilig Professionalität – Erwartungen: Selbstlosigkeit, Geschicklichkeit, Zuverlässigkeit, Disziplin. Wir sind nicht zur Disziplin geboren (Neuheit, Spannung). Wir müssen daran arbeiten. (S ). Wie ist es mit der Bildung?

Checklisten sind ein wertvolles Evaluationsverfahren, wenn sie mit Bedacht entwickelt, überprüft und angewandt werden. Eine solide Evaluationscheckliste: definiert die Kriterien, die mindestens bei der Evalutaion eines bestimmten Bereichs in Betracht gezogen werden sollten. hilft dem Gutachter, die wichtigen Kriterien nicht zu vergessen erhöht die Objektiviät, Glaubwürdigkeit und Reproduzier- barkeit des Gutachtens Außerdem ist eine solche Checkliste hilfreich, wenn es darum geht, Vorgänge zu planen, zu überwachen und anzuleiten und deren Ergebnisse zu bewerten. In der Evaluationsfachsprache sind Checklisten sowohl bei formativen als auch summativen Evaluationen hilfreich. (Nach: Scriven, M. The Logic and Methdology of Checklists. Western Michigan University. 2000, 2007)

Checklisten sind nicht gleich gemacht – mehr schlechte als gute Checklisten? schlechte Checklisten: ungenau, unpräzis, zu lang, schwer in der Benutzung, unpraktisch gute Checklisten: präzis, effizient, auf den Punkt, einfach in der Benutzung, enthalten Erinnerungen (nicht erschöpfende), praktisch. Normalerweise nicht mehr als 5-9 Punkte.

Arten von Checklisten Listen (mnemonisch) – bspw. Einkaufszettel, Wäscheliste – Schwerpunkt Gruppierung Sequenzielle Checklisten – Wichtigkeit der Reihenfolge: stark sequenziell, wenn die Reihenfolge (einiger oder aller zu prüfender Punkte) beachtet werden muss, um zulässige Ergebnisse zu erhalten. schwach sequenziell, wenn die Reihenfolge wichtig ist, aber eher aus psychologischen oder Effizienzgründen als aus logischer oder physischer Notwendigkeit.

Iterative Checklisten sind im Ganzen oder teilweise sequenziell, aber setzen mehrfache Durchgänge voraus bzw. können diese voraussetzen, um einen stabilen Messwert für jeden zu prüfenden Punkt zu erreichen. Diagnostische Checklisten, wie sie beispielsweise von Systematikern, Mechanikern und Toxikologen verwendet werden, unterstützen typischerweise eine klassifikatorische Schlussfolgerung, welche deskriptiv oder wertend sein kann. Die wahrscheinlich wichtigste Checkliste für Evaluationszwecke ist die Criteria of Merit Checkliste (COMlist). Diese benutzen Preisrichter, wenn sie Skate-, Grill- oder Agrarerzeugniswettbewerbe bewerten (und, natürlich bei der Beurteilung sprachlicher Performanz).

Zentrale Voraussetzungen für COMlists /Criteria of Merit Die meisten sind selbsterklärend und beziehen sich auf die Kriterien oder Prüfpunkte, die eine COMlist ausmachen: 1.Die Prüfpunkte sollten sich auf Kriterien und nicht bloße Indikatoren beziehen. 2.Die Listen sollten vollständig sein (keine wesentlichen Auslassungen). Die einzelnen Punkte sollten zusammenhängend sein, sich also nicht überschneiden (unerlässlich, wenn die Liste zur Punktebewertung benutzt wird). 3.Die Kriterien sollten messbar sein. 4.Die Kriterien sollten eindeutig sein (verständlich, anwendbar). 5.Die Liste sollte prägnant sein (um die mnemonischen Funktionen zu unterstützen). Sie sollte bspw. keine überflüssigen Kriterien enthalten. 6.Die Kriterien sollten beweisbar sein (bspw. messbar oder zuverlässig ableitbar). (Scriven, 200, 2007)

Positive Entwicklungen Wissenslücken bzw. Unwissenheit vermindernd: angemessene Richtlinien bewährter Verfahren Mit der Transparenz geht es voran: auf dem Feld der Verknüpfung von Prüfungen mit dem GER wird geforscht und brauchbare Forschungsergebnisse werden zugänglich. Schulungen zum Sprachtesten /-bewerten sind zunehmend verfügbar (EALTA, ALTE). Folglich haben wir zunehmend bessere Chancen, die Dinge richtig zu machen. Scriven, M. (2000/2007). The Logic and Methodology of Checklists. Western Michigan University. Gawande, A. (2010). The checklist manifesto. How to get things right. London: Profile Books.