Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg

Präsentation zum Thema: "Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg"—  Präsentation transkript:

1

2 Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at "What's the English word for ?"

3 1. Multimodalität: Text als Bild Modus = semiotischer Kanal, über den ein Inhalt transportiert wird Multimodalität = multi- / inter- semiotische Informationsdarstellung Bilder und Textverständnis Bilder als Lernhilfe

4 1. Vokabellernen einst

5 und jetzt

6 1. Lunch

7 1. Liver

8 1. Poultry

9 1. Inhalt Einleitung Das Medium Sprachlehr-CD-Rom Warum Bilder ??? (psycholinguistische Grundlagen) Typische multimodale Repräsentationsformen Rekodierungen Enkodierungen Schlussfolgerungen

10 2. Das Medium Sprachlehr-CD-Rom

11 2. Das Medium Sprachlehr-CD Text (gesprochen, geschrieben, monologisch, dialogisch, narrative, …) Bildmaterial (Fotos, Zeichnungen, Kartoons, skizzen, Graphiken) Ton (Musik, Stimme, Geräusche) Audio und Video Sequenzen Interaktive Übungen in allen 4 skills Eigene Sprachaufnahmen

12 2. Produktentwicklung erste Produkte (1990er Jahre) Wer zuerst kommt, malt zuerst! keine moderne Spracherwerbstheorie veraltete Didaktik (pattern drills) keine Einbindung der Semiotik, Linguistik, Didaktik viel Informatik

13 2. Neuere Produkte Schulsoftware: Friends / You & Me didaktisch stark verbessert (methodisch, kommunikativ) nach wie vor wenig Verbesserungen in Semiotik (Design, Kohäsion, Multimodalität)

14 3. Warum Bilder? Psychologische Grundlagen

15 3. Warum Bilder??? Psychologische Grundlagen Al-Seghayer (2001) Verknüpfen mehrerer Modi statt einem Reize viele Reiz Stimulation mehrerer Hirnareale spezifischere und breiter gestreute kognitive Verarbeitung referentielle Verknüpfung von vielen mentalen Repräsentationen

16 3. Lernertypen Multimodale Lernmaterialen auditive Lerner visuelle Lerner abstrakt verbale Lerner kommunikative Lerner motorische (haptische) Lerner

17 3. explizites und implizites Lernen kontroversielle Debatte sowohl explizite als auch implizite Lernstrategien (Wood 2001) verschiedene Repräsentationsarten verschiedene Kontexte

18 4.Multimodale Kombinationen Rekodierungen Enkodierungen

19 4.Typische multimodale Kombinationen: Rekodierungen / Enkodierungen 1. Rekodierungen (explizit) 1. Wörter + Bilder (Fotos / Icons) 2. Wortfelder + Icons (picture dictionaries) 2. Enkodierungen (implizit) 1. Phrasen / Sätze + Cartoons 2. Dialoge + Foto-stories 3. Wortfelder + Film

20 4.1.1. Rekodierung: Wort als Bild Holiday Language Trainer – Englisch; Grosser CD-ROM Sprachtrainer Englisch. Tandem Verlag Multimedia Line (1995)

21 4.1.1. Discourse initiating unit (Halliday) Restaurant

22 4.1.1. Rindfleisch – Beef

23 4.1.1. Schweinefleisch – Pork

24 4.1.1. Lammfleisch – Lamb

25 4.1.1. Probleme 1. Expertenwissen 2. Semantische Relationen: Hyponymie Hyperonym: Fleisch Mesonym:Lammfleisch (Fleisch + Lamm) Hyponym:Lammkotelette (Fleisch + Lamm + Kotelette) Anzahl distinktiver Merkmale

26 4.1.1. Lammfleisch – Lamb

27 4.1.1. Ikonisierung Zuordnung eindeutiger Denotationen Icons vs. Fotos Hyperonym: Icons = möglichst allgemein (wenig distinktive Merkmale) Mesonym:Kombination von Icons Hyponym:Foto = möglichst genau (viele distinktive Merkmale)

28 4.1.1. The New You & Me 4 Unit 4 – You are what you eat,

29 4.1.1. Lammkotelettes – Lamb chops

30 4.1.1. Hund

31 4.1.1. Schäfer

32 4.1.1. Denotation / Konnotation Ein Bild sagt mehr als 1000 Worte Barthes (1977) "all images are polysemous", "a 'floating chain' of signifieds"

33 4.1.1. Schäfer

34 4.1.1. Abendessen / dinner

35 4.1.1. Kulturspezifische Unterschiede Abendessen – Dinner keine kulturelle Übereinstimmung A/D: großes oder kleines Mahl am Abend UK: großes Mahl am Abend außer sonntags ÄquivalenzDenotationKonnotation Begriff+- Bild-+

36 4.1.1. Konnotation "eine Mixtur von Konzepten" van Leeuwen (2005: 38) "connotation … mixture of concepts" "culturally shared associations which cling to the represented people, places, things" Abendessen / dinner bildliche Darstellung der identischen Assoziationen Erzeugen äquivalente begriffliche Denotation

37 4.1.1. Abendessen / dinner

38 4.1.1. Ikonisierung

39 4.1.2. Rekodierung: Wortfelder als Icons Picture dictionaries The New You & ME 1 Unit 15: breakfast explizites Lernen: Vokabeltraining

40

41

42

43

44

45 Friends 1, Unit 5 Picture Dictionary – Going shopping (sic) Übung – Favourite foods Vocabulary test

46

47

48

49

50 4.2.1. Enkodierung: Phrasen/Sätze als Cartoons Phrasen / Sätze als Cartoons neues in bereits bekannte Schemas integrieren (Wood 2001) Informationsfluss: Given – New (Halliday; Kress & van Leeuwen)

51 4.2.1. Discourse initiating unit (Halliday) Restaurant

52 4.2.1. Could we have a table in the non-smoking area?

53 4.2.1. Could we have a table in the smoking area?

54 4.2.1. Visualisierbarkeit ? Kontext (Given) gut visualisierbar neue Information: oft schwer visualisierbar non-smoking area vs. non-smoking area Do you have any low fat dishes? Do you have any low cholesterol dishes?

55 4.2.1. I'd like … I'd like something to eat. I'd like some soup. I'd like fish. I'd like white wine. Do you have any low fat dishes?

56

57 4.2.1. Have you got fish? I'll take the fish? I'd like to have fish.

58 4.2.1. Have you got spring rolls? I'll take the spring rolls? I'd like to have spring rolls.

59 4.2.1. Do you take credit cards?

60 4.2.1. Vektoren (Kress & van Leeuwen 1996) Vektoren = Verben dynamische Bewegung 2 Vektoren dynamisches Verb take the credit card Blicke: 2 Vektoren biete an: do you take will haben: I will take

61 4.2.1. Do you take credit cards?

62 4.2.2. Enkodierung: Dialoge als Photo-stories implizites Lernen Lernen im Kontext fortgeschritten eingebettet in Schema (Schank & Abelson 1977) strikte generische Struktur Language of service encounters (Hasan 1985; Ventola 1987)

63 4.2.2. Service encounters Digital Publishing (1999): English: Kommunikationstrainer 3+. The market – buying gorceries

64 4.2.2.Sale request I'd like one garlic bulb, two lemons and three green peppers, please.

65 4.2.2.Sale compliance Anything else?

66 4.2.2.Sale request Yes, and some grapes please, about three bunches.

67 4.2.3. Enkodierung: Dialoge als Film implizites Lernen Verstärken expliziter gelehrter Inhalte andere Repräsentationsformen anderer Kontext andere Lernertypen

68 4.2.3. The New You & Me 1 (2004)

69 4.2.3. Probleme zentrale Darstellung / Sichtbarmachung der neuen Inhalte Visualisierung der Begriffe durch verschiedene Referenten

70 5. Schlussfolgerungen Visualisierungen Didaktik

71 5. Visualisierungen nicht jeder Text lässt sich visualisieren übergeordnete Begriffe (Hyperonyme): ikonisieren untergeordnete Begriffe (Hyponyme): fotografieren komplexe (konnotationsbeladene) Inhalte: wesentliche distinktive Merkmale möglichst kulturneutral dinner Uhrzeit

72 5. Visualisierungen Abstrakte Inhalte grundsätzlich nicht rekodierbar anything else manchmal erschließbar aus Kontex (Given) strikter generischer Struktur

73 5. Didaktik Begriffe mehrfach präsentieren unterschiedliche Visualisierungen: Icons, Fotos, Zeichnungen, Film verschiedene Kontexte: Dictionary, Frühstück, Supermarkt neue Begriffe in bestehende Schemas und Kontexte integrieren explizites und implizites Lernen verbinden

74 Danke!

75 References Al-Seghayer, Khalid (2001): The Effect of Multimedia Annotation Modes on L2 Vocabulary Acquisition: a Comparative Study. In: Language Learning & Technology 5 (1), 202-232. Baldry, Anthony & Thibault, Paul (2006): Multimodal Transcription and Text Analysis. London: Equinox. Barthes, Roland (1977): Rhetoric of the Image. In: Heath, S. (ed.): Roland Barthes: Image, Music, Text. London: Fontana Press, 32-51. Halliday, Michael A. K. (1994): An Introduction to Functional Grammar. London: Arnold. Hasan, Ruqaiya. (1985): The structure of a text. In Halliday, M.A.K./Hasan, R. (eds): Language, Context, and Text: Aspects of Language in a Social-Semiotic Perspective. Victoria: Deakin University, 52-69. Kaltenbacher, Martin (2003): Language learning via CD-Rom – old wine in new bottles. In: Newby, D. (ed.): Mediating between Theory and Practice in the Context of Different Learning Cultures and Languages. Strasbourg: Council of Europe Publishing, 171-175. Kaltenbacher, Martin (2004): Multimodality in language teaching CD-Roms. In: Ventola, E./Charles, C./Kaltenbacher, M. (eds.): Perspectives on Multimodality. Amsterdam: John Benjamins, 119-136. Kress, Gunther/van Leeuwen, Theo (2006): Reading Images. The Grammar of Visual Design. London/New York: Routledge. Van Leeuwen, Theo (2005): Introducing Social Semiotics. London: Routledge. Ventola, Eija (1987): The Structure of Social Interaction: A Systemic Approach to the Semiotics of Service Encounters. London: Pinter Publishers. Wood, Julie (2001): Can Software Support Children's Vocabulary Development? In: Language Learning & Technology 5 (1), 166-201.

76 CD-Roms Desktop Systems Ltd., Kiev, Ukraine (1995): Holiday Language Trainer – Englisch; Grosser CD-ROM Sprachtrainer Englisch. Königswinter: Tandem Verlag Multimedia Line. Digital Publishing (1999): English: Kommunikationstrainer 3+. München: Digital Publishing. Gerngroß, Günter et al. (1998): The New You & Me 1 – CD-Rom. München: Langenscheidt-Longman.