Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

MERLIN: Eine Plattform zur Veranschaulichung der Niveaustufen des Gemeinsamen europäischen Referenzrahmens für Sprachen Katrin Wisniewski, Technische Universität.

Ähnliche Präsentationen


Präsentation zum Thema: "MERLIN: Eine Plattform zur Veranschaulichung der Niveaustufen des Gemeinsamen europäischen Referenzrahmens für Sprachen Katrin Wisniewski, Technische Universität."—  Präsentation transkript:

1 MERLIN: Eine Plattform zur Veranschaulichung der Niveaustufen des Gemeinsamen europäischen Referenzrahmens für Sprachen Katrin Wisniewski, Technische Universität Dresden

2 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) Warum die GeRS-Niveaustufen illustrieren? -trotz der weiten Verbreitung des Referenzrahmens ist die Bedeutung der Niveaustufen in der Praxis unklar -Gründe z.B. -unklare und sehr allgemeine Formulierungen, -mangelnde Kohärenz (GeRS-Text  GeRS-Skalen) -…  mehr empirische Unterfütterung (Lernersprache) nötig  einzelsprachenspezifische Konkretisierungen nötig (vgl. RLD-Initiative) (Fulcher 2004, Hulstijn 2007, North 2000, Wisniewski et al. 2013, Wisniewski 2014) 1/15

3 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) MERLIN MERLIN: „Multilingual Platform for the European Reference Levels: Interlanguage Exploration in Context”: EU-Projekt(LLP LLP DE-KA2-KA2MP) 01/2012 – 12/2014 Partner: Technische Universität Dresden (DE) (Lead Partner), European Academy Bolzano (IT), Charles University (CZ), telc GmbH (DE), Berufsförderungsinstitut Oberösterreich (AT), Eberhard-Karls-Universität Tübingen (DE), European Center of Modern Languages - Council of Europe (AT) (Assoziierter Partner) Ziele: Frei verfügbare Onlineplattform zur Veranschaulichung der GeRS- Niveaus für Deutsch, Italienisch und Tschechisch Beitrag zur Validierung ausgewählter GeRS-Skalen (cf. Wisniewski et al. 2013) 2/15

4 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) MERLIN: Daten & Datenaufbereitung Schriftliche Texte aus standardisierten Sprachtests (telc, UJOP) mit strikten Qualitätskontrollen (ALTE-auditiert) ~200 Texte pro verfügbarem Sprachtest-Niveau (N=2288) Metadaten (Muttersprache, Alter, Geschlecht) ~ Tokens Bewertertraining, Nachbewertungen mit GeRS-bezogenen Rastern (vgl. Tab. 3, GeRS); Reliabilitätskontrollen streng, z.B. 10% doppelt bewertetet, Multi- Facetten Rasch-Analyse & CTT 3/15

5 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) MERLIN: Transkription & Annotation Transkription/Digitalisierung (xml mind ©, mit Guidelines, Reliabilitätschecks) Annotationen: manuell und automatisch, mit Guidelines, Reliabilitätschecks (Quellen: GeRS-Operationalisierung; Nutzerstudien; Forschungsliteratur; induktive Textanalysen) Korpusnutzung (Suchanfragen, Visualisierung, Statistik)- Pilotierung abgeschlossen, Revisionsphase läuft 4/15

6 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) Die Annotationsarchitektur im Fokus Target Hypothesis (  Falko project), construction of a plausible target-language like form of the ANNOTATED FEATURES SOURCEMETHODOLOGYEXEMPLARY TAGS CEFR scalesoperationalisation of chapter 5 scales (vocabulary range & control, grammatical accuracy, orthography, coherence & cohesion, sociolinguistic appropriateness) content jumps greetings repetitions intelligibility users (teachers, testers, learners) needs analysis (questionnaires & expert interviews) textbook analyses language test analyses verb mood, verb aspect incorrect use of prepositions capitalization errors researchanalyses of research literature - learner corpora, SLA, LT (language- specific & overarching) REQUESTS connectors, text-structural means, reference problems … word order, inflection … semantic/formal lexical errors… collocations, idioms … single variational aspects like double pronouns (ITA) learner textsinductive qualitative analyses of 10 texts per level & language formality problems ITA: lexicalised clitics OTHER FEATURES OF LEARNER LANGUAGE TARGET HYPOTHESES ERRORS FALKO* 5/15 Annotationen im Gesamtkorpus Zielhypothese 1 (TH1): orthographisch und grammatische korrekte Version des Lernertextes Merkmale der Lernersprache: Grammatik und Orthographie (Fehlerannotation 1, EA1) Weitere Annotationen im Kernkorpus (A2/B2) Zielhypothese 2 (TH2): akzeptabler Lernertext Merkmale der Lernersprache: Wortschatz, Pragmatik, Soziolinguistik, Verständlichkeit (Fehlerannotation 2, EA2)

7 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) Funktionen der MERLIN-Plattform -Freier Online-Zugang zu allen Ressourcen, Tools open-source -Zugang zu ganzen Texten, Metadaten, Annotationen („Lernersprachenmerkmale“) -Aufgaben, detaillierte Aufgabenbeschreibungen (ALTE-Raster) -GeRS-Profilbewertungen für jeden Text (grammatische Korrektheit, Wortschatzkorrektheit und –spektrum, Kohärenz/Kohäsion, soziolinguistische Angemessenheit; sprachliches Spektrum allgemein), Bewertungsraster -Einfache & erweiterte Suchfunktionen -Subkorpora anlegen & exportieren: z.B. nach Metadaten (e.g. L1, Alter) – Annotationen – Aufgaben(niveau)– GeRS-Niveau … -Wortlisten erstellen und exportieren -Häufigkeiten einzelner Lernersprachenmerkmale berechnen -Sprachübergreifende Lernersprachenanalysen -…-… 6/15

8 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) Anwendungsbereiche von MERLIN -GeRS-Skalenvalidierung (vgl. Wisniewski 2014) -Fremdsprachenerwerbforschung -NLP -Sprachtesten -Sprachlehre 7/15

9 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) Korpora im Fremdsprachenunterricht -“bottom-up”-Ansatz (McEnery/Xiao 2011) -seit Johns (1988) Nutzen von Korpora im FSU zunehmend anerkannt   faktisch selten eingesetzt (Römer 2006, Chambers et al. 2011) -große L1-Korpora bieten Informationen über „reale“ Häufigkeiten – diese müssen nichts über pädagogische Relevanz oder Schwierigkeit aussagen (Flowerdew 2012, Meunier 2002)  Lernerkorpora! -insbesondere das Potenzial von Lernerkorpora ist in der Sprachlehre noch nicht genutzt worden (Flowerdew 2012, Granger 2009) 8/15

10 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) Korpora im FSU: Übersicht (fig.: Römer 2010: 19, cf. Aston, 2000, Leech 1997; Nesselhauf 2004, Flowerdew 2009, 2012) 9/15 Pädagogische Korpusanwendungen Wirkung auf Lehrplan Wirkung auf Referenzwerke und Lehrmaterialien Lehrer-Korpus- Interaktion Lerner-Korpus- Interaktion Indirekte Anwendungen (Forschen & Materialentwicklung) Direkte Anwendungen (Lerner und Lehrer – ‚data-driven learning‘)

11 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) MERLIN & Lehrpläne -Ziel: Erleichterung von Entscheidungen über die Auswahl, Präsentation und Abfolge von Lehr- und Lerninhalten (Aston 2000, Granger 2002, Römer 2008) -MERLIN … -Hintergrund: fast alle Lehrpläne sind auf den GeRS bezogen -MERLIN bietet GeRS-bezogene empirische Daten zu typischen Meilensteinen/Hürden/Fehlern in Lernersprache -hilft, realistische Erwartungen an Lernerleistungen zu entwickeln 10/15

12 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) MERLIN & Entwicklung von Lehrmaterialien -Korpora können die Authentizität von Lehrmaterialien verbessern (Römer 2008) -MERLIN … -Detaillierte Informationen zur Vielfalt des Gebrauchs bzw. zur Bewältigung zielsprachlicher Herausforderungen mit Bezug auf GeRS -GeRS-bezogene Informationen zu (Häufigkeits-) (Lerner-) Wörterbüchern, zu Grammatiken usw. (Granger 2002) 11/15

13 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) Direkte Anwendungen von Korpora im FSU -Hintergrund: Autonomes, lernerzentriertes Lernen; Johns 1997: „Every student a Sherlock Holmes“ -Stichworte: ‚data-driven learning‘ (Johns 1991)‚ discovery learning‘ (e.g. Aston 2001), die drei “I” : Illustration – Interaktion– Induktion (McEnery/Xiao 2011) -Direkte Lernerkorpusanwendungen im FSU sind selten (Flowerdew 2012) 12/15

14 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) MERLIN im FSU - Beispielszenarien -Möglich sind Aktivitäten wie z.B….: -Wiederholen der MERLIN-Aufgaben, Selbstbewertungen oder Lehrer-Bewertungen mit MERLIN-Raster; dann Vergleich eigener Texte mit MERLIN-Texten, nach GeRS- Niveau oder/und L1 geordnet -Fehleranalysen in Peer-Gruppen, bezogen auf den GeRS (Mukherjee/ Rohrbach 2006) -Subkorpora erstellen, um herauszufinden, ob die Muttersprache, die Aufgabe, das Alter usw. einen Einfluss auf die Texte haben -Lernersprachen vergleichen (Tschechisch/Italienisch/Deutsch) -Herausfinden, wie besser/schlechter bewertete Lerner ganz bestimmte sprachliche Phänomene meistern (z.B. Groß- und Kleinschreibung, Verbstellung im Nebensatz, Aspekt, Artikelverwendung uvm.); Vergleich mit eigenen Texten -Analyse im Unterricht verwendeter Lehrwerke – zielen sie auf das beabsichtigte GeRS-Niveau? -MERLIN mit L1-Korpora vergleichen (Granger 2002: CIA, Contrastive Interlanguage Analysis), um muttersprachlichen Gebrauch von Lernervarianten zu unterscheiden 13/15

15 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) Diskussion Einwände: -kleines Korpus  Orientierung ja, aber keine Repräsentativität -kaum Studien zur Effektivität (vgl. Chambers et al. 2011) -Gefahr: Lernerkorpora in der Lehre nur als Negativbeispiel (Leech 1997) -technische Hürde für Nutzer (Chambers et al., Gilquin et al. 2007) Aber: -MERLIN ist frei zugänglich -MERLIN-Design ist nutzerorientiert (Braun 2005) -Hindernis Korpustechnologie: Versuch, Vorteile klar herauszuarbeiten, gradueller Ansatz bei Nutzungsoptionen (Chambers et al. 2011), Hilfefunktionen, Plattformpilotierung, Fortbildungen 14/15

16 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ ) Ausblick -MERLIN koppelt den GeRS-Gebrauch in einem lernerzentrierten Ansatz an empirische Daten -Hilft, die Verselbständigung (‚Reifizierung‘) der Skalen zu kontrollieren (Fulcher/Davidson 2007: 232) -Pilotprojektdesign – erweiterbar -“(…) corpora will not only revolutionize the teaching of subjects such as grammar (…), they will also fundamentally change the ways we approach language education, including both what is taught and how it is taught.” (McEnery/Xiao 2012) 15/15

17 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ Vielen Dank für Ihre Aufmerksamkeit! Katrin Wisniewski

18 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ MERLIN: Daten in der Übersicht GERITACZGesamt Testfair averageTestfair averageTestfair average A A B B C C Gesamt

19 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ Zitierte Literatur Alderson, J.C. (1996). Do corpora have a role in language assessment? In J.A. Thomas & M.H.Short (Eds.), Using corpora for language research (pp ). London: Longman. ALTE Grid for writing tasks, Aston, G. (2000). Corpora and language teaching. In L. Burnard & T. McEnery (Eds.), Rethinking language pedagogy from a corpus perspective: Papers from the third International Conference on Teaching and Language Corpora (pp. 7-17). Hamburg: Peter Lang. Ball, F. (2001). Using corpora in language testing. Research Notes 6, 6-8, Barker, F. (2004). Using corpora in language testing. Modern English Teacher, 13(2), Barker, F.Barker, F ‘How can corpora be used in language testing?’ in The Routledge Handbook of Corpus Linguistics. Abingdon, UK: Routledge, pp Book editor(s): O'Keeffe, A. and M. McCarthy.O'Keeffe, A.M. McCarthy Braun, S. (2005): From pedagogically relevant corpora to authentic language learning contents. In: ReCALL 17 (1): 47–64 Carlsen, C Proficiency level - a fuzzy variable in computer learner Corpora. Applied Linguistics 33 (2) Chambers, A./Farr, F./O’Riordan, S. (2011): Language teachers with corpora in mind: from starting steps to walking tall. In: Language Learning Journal 39 (1) Council of Europe (ed..) (2005): Reference Level Descriptions for National and Regional Languages (RLD). Guide for the production of RLD: Version 2. https://www.coe.int/t/dg4/linguistic/dnr_EN.asp Egbert, Paulus and Nakamichi 2002: 111 Flowerdew, L. (2012): Corpora and Language Education. Palgrave Macmillan. Flowerdew, L. (2009): Applying corpus linguistics to pedagogy. A critical evaluation. In: International Journal of Corpus Linguistics 14/3: (download) Fulcher, G./Davidson, F./Kemp, J. (2011): Effective rating scale development for speaking tests: Performance decision trees. In: Language Testing 28 (5)

20 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ Gilquin, G./ Granger, S./Paquot, M. (2007): Learner corpora: The missing link in EAP pedagogy. In: Journal of English for Academic Purposes 6 (4) Granger, Sylviane (2002), A Bird’s-eye View of Learner Corpus Research. In: Granger/Hung/Petch-Tyson 2002, 333. Granger, S. (2009). The contribution of learner corpora to second language acquisition and foreign language teaching: A critical evaluation. In: Aijmer, K., Corpora and Language Teaching, Benjamins: Amsterdam and Philadelphia, Granger, S., Hung, J. & Petch-Tyson, S. (Eds.) (2002). Computer learner corpora, second language acquisition and foreign language teaching. Amsterdam: John Benjamins Green, T. (o.J.): The English Profile Network. Report on EPN Methods and their implications for Reference Level Descriptions. Green, T. : English Profile Network Recommendation Report. report Hawkey, R./Barker, F. (2004): Developing a Common Scale for the Assessment of Writing. In: Assessing Writing 9, Johns, T. (1988): Whence and whither classroom concordancing? In: Bongaarts, T./de Haan, P./Lobbe, S./Wekker, H. (eds.): Computer Applications in Language Learning. Dordrecht: Foris, Johns, T. (1997): Contexts: The Background, Development and Trialling of a Concordance-based CALL Program. In: Wichmann, Anne/Fligelstone, Steven/McEnery, Tony/Knowles, Gerry (eds.) (1997), Teaching and Language Corpora. London: Longman, Leech, G. (1997). Teaching and language corpora: A convergence. In A. Wichmann, S. Fligelstone, T. McEnery & G. Knowles (Eds.), Teaching and language corpora (pp. 1-23). New York: Addison Wesley Longman. McEnery, T./Xiao, R./Tono, Y. (2006): Corpus-based language studies. An Advanced Resource Book. London/New York: Routledge. Meunier, Fanny (2002), The Pedagogical Value of Native and Learner Corpora in EFL Grammar Teaching. In: Granger/Hung/Petch-Tyson 2002,

21 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ Mukherjee, Joybrato/Rohrbach, Jan-Marc (2006), Rethinking Applied Corpus Linguistics from a Language-pedagogical Perspective: New Departures in Learner Corpus Research. In: Kettemann, Bernhard/Marko, Georg (eds.), Planing, Gluing and Painting Corpora. Inside the Applied Corpus Linguist’s Workshop. Frankfurt: Peter Lang, Nesselhauf, N. (2004). Learner corpora and their potential for language teaching. In J.McH. Sinclair (Ed.), How to use corpora in language teaching (pp ). Amsterdam: Benjamins. Pawley, A./Syder, F.H. (1983): Two puzzles for linguistic theory: nativelike selection and nativelike fluency. In: Richards, J.C./Schmidt, R.W. (eds.): Language and Communication. London: Longman, Römer, Ute Corpora and language teaching. In: Lüdeling, Anke & Merja Kytö (eds.). Corpus Linguistics. An International Handbook (volume 1). [HSK series] Berlin: Mouton de Gruyter HSK series Römer. U. (2006): Pedagogical applications of corpora: some reflections on the current scope and a wish list for future developments. In: Zeitschrift für ANglistik und Amerikanistik 54 (2) Römer, U. (2010): Using general and specialized corpora in English language teaching: past, present and future. In: Campoy-Cubillo, M. et al. (eds.): Corpus-based approaches to English Language Teaching. London: Continuum, Saville/Hawkey 2010 Tenfjord, K., Meurer, P. and Hofland, K. 2006: The ASK-corpus - a language learner corpus of Norwegian as a second language. Proceedings from 5th International Conference of Language Resources and Evaluation (LREC), Genova (http://hnk.ffzg.hr/bibl/lrec2006/pdf/573_pdf.pdf)http://hnk.ffzg.hr/bibl/lrec2006/pdf/573_pdf.pdf

22 Katrin Wisniewski: MERLIN. Fachtagung MSZ, Online-Lernszenarien, Dresden, 17./ Wisniewski, K. (2013): The empirical validity of the CEFR fluency scale: the A2 level description. In: Galaczi, E.D./Weir, C.J. (eds.): Exploring Language Frameworks: Proceedings of the ALTE Krakow Conference, July Cambridge: Cambridge University Press, Studies in Language Testing, 36. Wisniewski, K.: (in preparation:)) Die Validität der Skalen des Gemeinsamen europäischen Referenzrahmens für Sprachen. Eine empirische Untersuchung der Flüssigkeits- und Wortschatzskalen des GeRS am Beispiel des Italienischen und des Deutschen. Frankfurt u.a.: Peter Lang. – Language Testing and Evaluation Series, hrsg. v. Rüdger Grotjahn und Peter Sigott. Wisniewski, K./ Schöne, K./ Nicolas, L. /Vettori, C./Boyd, A./Meurers, D./Hana, J./Abel, A. (2013): MERLIN: An online trilingual learner corpus empirically grounding the CEFR Reference Levels in authentic data. In: ICT for Language Learning, Conference Proceedings Firenze: Libreriauniversitaria. Wray, A./Perkins, M.R. (2000): The functions of formulaic language: an integrated model. In: Language & Communication 20, 1-28.


Herunterladen ppt "MERLIN: Eine Plattform zur Veranschaulichung der Niveaustufen des Gemeinsamen europäischen Referenzrahmens für Sprachen Katrin Wisniewski, Technische Universität."

Ähnliche Präsentationen


Google-Anzeigen