Semiotik-Workshop Multimodale Filmanalyse

Slides:



Advertisements
Ähnliche Präsentationen
Assoziative Anaphern Nico Kimm, MA
Advertisements

Teil 9 Lexical Functional Grammar (2) Übung
Fakultät für informatik informatik 12 technische universität dortmund Specifications Peter Marwedel TU Dortmund, Informatik 12 Graphics: © Alexandra Nolte,
Neil Postman - Biographie
On a Buzzword: Hierachical Structure David Parnas.
Die Registervariablen: Tenor of Discourse
Dissimilation und ihre Bedeutung für den diachronen Lautwandel
HS: Phonetische Grundlagen des Lautwandels
© Karin Haenelt 2005, Endliche Automaten: Alphabet, Zeichenreihe, Sprache, Endliche Automaten Grundlagen: Alphabet, Zeichenreihe, Sprache.
Hochschulforschung – Publizieren in einem interdisziplinären Feld Tipps aus dem Arbeitsalltag Christiane Rittgerott INCHER-Kassel Mai 2007.
Grundkonzepte der Bindungstheorie
Hörbilderbuch Ein Baustein zur Medienbildung
Was ist eigentlich Psychologie????
1 İstanbul Üniversitesi. 2 gegründet 1453 die älteste Universität der Türkei und eine der ältesten der Welt Studenten 37 Institute, 13 Schulen,
Vorlesung: Einführung in der Bioinformatik
Übung zur Fallstudienforschung Kai Reimers WS 2004/05.
Auf dem Weg zu einer semiotischen Diskurstheorie
Eignung von Grammatik-basiertem Layout für grafische Programmiersprachen Seminar Layout-Algorithmen für Graphen Institut für Informatik Christian-Albrechts.
Zur semiotischen Integration von Diskursmodellen
1 Knowledge Discovery mit Wordnet und Alembic Workbench (Julia Faion) (Markus Reiter)
Einführung in die Politikfeldanalyse 3.Vorlesung Prof. Herbert Gottweis Sommersemester 2006 Studienassistent: Homepage:
VO G6: Einführung in die Politikfeldanalyse
NATIVIST THEORIE.
Definitionen der SWT (1)
MATHEMATIK UND AKUSTISCHE SIGNALVERARBEITUNG
Elaboration Likelihood Model – ELM
Guten Morgen! Heute ist der 2. Oktober 2008
Context-awareness Andreas Bossard, Matthias Hert.
Sprachproduktion und Sprachwahrnehmung
ELP-TT Training teachers to use the European Language Portfolio EFSZ-Kurzprojekt ELP_TT2 Koordination: Mag. Margarete Nezbeda.
ICT-Projektmanagement & OE Magisterstudium Wirtschaftsinformatik
Theorien der Internationalen Beziehungen
Vienna Conference on Consciousness Teil I "Was ist die neuronale Grundlage des Bewußtseins? Wo ist es im Gehirn?" Beitrag von Michael L. Berger (Center.
VO D6/G6 H. Gottweis - SoSe 2oo7: (2) Was ist Policy Analyse? VO D6/G6: Einführung in die Politikfeldanalyse 2. Stunde am 15. März 2007: Was ist Policy.
VO G6 H. Gottweis - SoSe 2oo8: (2) Was ist Policy Analyse? VO G6: Einführung in die Politikfeldanalyse 2. Stunde am 3. April 2008: Was ist Policy.
Zur semiotischen Integration von Diskursmodellen
Martin Siefkes, Univ. Bremen
im Englisch-Unterricht
als soziologische Kategorie
Hörbilderbuch Ein Baustein zur Medienbildung
Digitale Annotationen. Grundlage: John Bradley “Towards a Richer Sense of Digital Annotation: Moving Beyond a Media Orientation of the Annotation of Digital.
Multimedia und Virtual Reality Vorlesung am Martin Kurze Perspektiven in Wissenschaft und Wirtschaft.
Multimedia und Virtual Reality Vorlesung mit Übungen Sommersemester 1999 Martin Kurze
Seminar aus Bildverarbeitung und Mustererkennung , Seminar aus Medieninformatik Seminar aus medizinischer Informatik W. Kropatsch,
Christian Scheideler WS 2008
Manfred Glauninger Soziolinguistik des Deutschen Universität Wien — WiSe /
Semiotik in Deutschland: ein Überblick
The Concept of Interprofessionality Silvia Wiedebusch & Stephan Maykus INPRO – Lerninhalte und –methoden für das Training von Interprofessionalität in.
Semantik und Wissensrepräsentation Einleitung   Sprachliches Wissen vs. Weltwissen   Voraussetzungen für Sprachverstehen.
Prof. Dr. Uwe Brinkschulte
Rules of Play - Game Design Fundamentals by Katie Salen and Eric Zimmerman Universität zu Köln Historisch-Kulturwissenschaftliche Informationsverarbeitung.
Kristóf Nyíri: Wörter und Bilder Antrittsvorlesung, 27. Okt Universität Leipzig, Leibnizprofessur 2006/07, Wintersemester.
Hausaufgabe 1 Was ist Sozialpsychologie und wie unterscheidet sie sich von anderen, verwandten Disziplinen? Einführung
E STUNDE Deutsch AP. Dienstag, der 11. Dezember 2012 Deutsch AP (E Stunde)Heute ist ein C Tag Goal: to increase general vocabulary knowledge, reading.
1/15 Thursday, 21 June 2007 Werner Sudendorf, Jürgen Keiper Deutsche Kinemathek – Museum für Film und Fernsehen Werner Sudendorf, Jürgen Keiper Reconstructing.
Caroline Euringer Hamburg University LEO.-App: Mobile phone application for self-testing in reading and writing Peer Learning Activity on the use of digital.
Fachtagung der Bundesvereinigung Lebenshilfe: Migration und Behinderung: Zugangsbarrieren erkennen – Teilhabe ermöglichen 29.–30. September 2015 in Berlin.
© Crown copyright 2011, Department for Education These materials have been designed to be reproduced for internal circulation, research and teaching or.
Design by TemplateMo GOR, Köln, 2014 Online Eye-Tracking Methodik, Validität und Einsatzbereich Sebastian Berger, Dr. Berger Consult Herbert Höckel, mo'web.
Die klassischen Methoden der historisch-vergleichenden Forschung Universität Zürich Soziologisches Institut Seminar: Methoden des internationalen Vergleichs.
Citavi - Vom Zitat zur Publikation
Prüfungsthema Multimodale Wahrnehmung und Interaktion.
Situation von Adoptivfamilien in Deutschland – Informationsaustausch, Kontakt und Kommunikation über die Adoption Ina Bovenschen & Fabienne Dietzsch.
Scientific Reasoning in Medical Education
Systemanalyse BA Heidenheim 2002.
Bildunterschrift [Cohen, 1994]
Sprachplanung/-politik LPP-discourse
Cape Cod-Seminar Dr. Bernd Schmid July 2013
International Course of Lectures: How to create a Learning Culture
Citavi - Vom Zitat zur Publikation
 Präsentation transkript:

Semiotik-Workshop Multimodale Filmanalyse Martin Siefkes Technische Universität Chemnitz

Überblick Was ist Multimodalitätsforschung? Multimodalität im Film Analyse zweier Beispiele

Multimodalität Multimodale Texte verwenden mehrere semiotische und/oder perzeptuelle Modi (Bateman 2011, Wildfeuer 2012, Fricke 2013) Beispiele: bebilderte Texte, Webseiten, Filme Semiotische Modi (= Zeichensysteme / Kodes): Sprache (schriftlich oder mündlich), Bilder, Geräusche, … Perzeptuelle Modi (= Sinneskanäle): visuell, auditorisch, haptisch, olfaktorisch, gustatorisch

Intermodalität Intermodalität: zusätzliche Eigenschaften, die sich aus Beziehungen zwischen den verschiedenen Modi ergeben. Beispiele: bein Bild widerspricht dem daneben stehenden Text; die Musik in einem Film passt / passt nicht zur gezeigten Szenerie; eine Erzählerstimme in einem Film kommentiert die bildlich gezeigten Ereignisse; …

Semiotik und Multimodalität Modi (z.B. Sprache und Bilder) haben verschiedene semiotische Eigenschaften Relationen zwischen Modi müssen berücksichtigt werden Multimodalität hat sich daher zum eigenen Forschungsgebiet entwickelt Verschiedene Ansätze in verschiedenen Disziplinen, die sich auch auf verschiedene Probleme konzentrieren

Bereiche innerhalb der Multimodalitäts-Forschung Social Semiotics (Gunther Kress, Theo van Leeuwen) Systemic Functional Linguistics (Michael Halliday, Christian Matthiessen) Multimodale Diskursanalyse (Kay O’Halloran, John Bateman) Multimodale Filmanalyse (John Bateman, Janina Wildfeuer) Multimodale Comicanalyse (Neil Cohn, Janina Wildfeuer) Multimodale Grammatik (Ellen Fricke) Kognitive Psychologie: Interaktion zwischen Reizen in verschiedenen Sinnesmodalitäten (Harry McGurk, Gemma Calvert)

Warum Multimodalität? Alle semiotischen Modi / Zeichensysteme / Kodes werden gleichermaßen ernst genommen Weder „Primat der Sprache“, noch willkürliche Auswahl (z.B. „Text-Bild- Beziehungen“ oder „Musik im Film“) Nur so kann ein vollständiges Bild entstehen! Voraussetzung ist die Semiotik, um die einzelnen Zeichensysteme in ihren Eigenschaften zu verstehen Starke empirische Ausrichtung: Beispielanalyse und zunehmend auch multimodale Korpusanalysen Wildfeuer, Janina (2014), Film Discourse Interpretation. Towards a New Paradigm for Multimodal Film Analysis. London: Routledge. Schöps, Doris (2014), Körperhaltungen und Rollenstereotype im DEFA-Film. Eine korpusanalytische Untersuchung. Würzburg: Königshausen & Neumann.

Multimodalität und Gesellschaft Multimodale Theorien werden auch gesellschaftskritisch eingesetzt Einige Bereiche sind gesellschaftskritisch (ideologische Positionen, Probleme multimodaler Kommunikation, z.B. Gunther Kress) Multimodale Diskursanalyse Diskurstheorien werden zunehmend auch auf den Bereich der Bilder, Filme, Webseiten, Computerspiele etc. erweitert Siefkes, Martin/Schöps, Doris (2014), Neue Methoden der Diskursanalyse. Themenheft, Zeitschrift für Semiotik 35, 3-4.

Annotation Verschiedene Annotationssysteme Meist wird ausdrucksseitig annotiert (Zeichenträger) Für die Interpretation benötigt man dann noch Wissen über die Bedeutungen (z.B. aus Lexika) Empirische Überprüfung möglich, wo Bedeutungen nicht gesichert sind: z.B. durch Befragung von Probanden, oder durch Kookkurrenzen (z.B. kann der emotionale Gehalt einer Musik auch danach beurteilt werden, in welchen Szenen sie vorkommt – wenn sie ausreichend häufig vorkommt) Beliebtes Programm für die Annotation: ELAN Freie Software, entwickelt vom Max-Planck-Institut für Psycholinguistik in Nijmegen

Strange Days (1995, dir.: Kathryn Bigelow) Example 1 Strange Days (1995, dir.: Kathryn Bigelow) 20:00 – 24:00 Dystopische Zukunft “Wire tripping”: Technik der Virtual Reality Mit Hilfe einer “SQUID” genannten Technik werden Wahrnehmungen (visuell und akustisch) und Empfindungen eines Menschen aufgezeichnet, gespeichert und abgespielt Technik wird ähnlich einer Droge missbraucht: “Wire tripping”

Annotationstabelle Modus 20:00 20:05 20:10 20:15 Sprache Prosodie Gestik/Mimik Körperhaltung Proxemik Kleidung Beleuchtung Musik/Geräusche

Gattaca (1997, dir.: Andrew Niccols) Example 2 Gattaca (1997, dir.: Andrew Niccols) 9:00 – 10:35 Beschreibt eine nicht weit entfernte (“not too distant”) Zukunft ausgehend von 1997 Gentechnik, Eugenik und Diskriminierung auf der Basis von Gentests sind normal geworden Bezieht sich damit auf kontroverse Diskurse der 1990er Jahre

Frame Empfängnis & Geburt (1997)real Akteure: Mutter, Vater, Kind, Doktor, … Ereignisse: Paar schläft miteinander, Empfängnis, Schwangerschaft, Geburt, Gesundheitskontrollen für das Baby, … Skript: <Paar schläft miteinander (t1) ⇒ Empfängnis (t2) ⇒ Schwanger- schaft (t3) ⇒ Geburt (t4) ⇒ Gesundheitskontrollen für das Baby (t5)> Orte: privates Heim, Krankenhaus, … Artefakte: Krankenhausbett, … Ausdrücke & Idiome: “A child conceived in love has a greater chance of happiness”, “Intelligenzquotient”, …

Frame Empfängnis & Geburt („nicht weit entfernte“ Zukunft)fiktional Akteure: Mutter, Vater, Kind, Genetiker, Doktor, … Ereignisse: künstliche Befruchtung, Testen der Embryos, Auswahl eines Embryos (tw. In Besprechung mit Eltern), Paar schläft miteinander, Empfängnis, Schwangerschaft, Geburt, Gesundheitskontrollen für das Baby, … Skript: <Paar schläft miteinander (t1) ⇒ Empfängnis (t2) ⇒ Schwanger-schaft (t3) ⇒ Geburt (t4) ⇒ Gesundheitskontrollen für das Baby (t5)> Orte: privates Heim, Krankenhaus, Praxis des Genetikers, … Artefakte: Krankenhausbett, Spritze, Gerät für automatischen Gentest, … Ausdrücke & Idiome: “God’s child”, “faith birth”, “genetic quotient”, “borrowed ladder”, ”genoism”, …

Ausgewählte Literatur Bateman, John (2011), “The decomposability of semiotic modes”, in: O’Halloran, Kay & Bradley Smith (eds.) (2011), Multimodal Studies. Exploring Issues and Domains. London: Routledge, 17-38. Bateman, John (2014), Text and Image. A Critical Introduction to the Visual-Verbal Divide. New York: Routledge. Bateman, John/Schmidt, Karl-Heinrich (2011), Multimodal Film Analysis. How Films Mean. London: Routledge. Calvert, Gemma/Spence, Charles/Stein, Barry (2004), The Handbook of Multisensory Processes. Cambridge MA: MIT. Elleström, Lars (ed.) (2011), Media Borders, Multimodality and Intermediality. London: Palgrave Macmillan. Fillmore, Charles (1982), “Frame semantics”, in: Linguistics in the Morning Calm. Papers presented at the Seoul International Conference on Linguistics. Seoul: Hanshin, 111-137. Fricke, Ellen (2006), “Intermedialität, Stil und Mental Spaces: Das Visuelle als Dimension musikalischen Komponierens in Georg Nussbaumers Installationsoper ‘orpheusarchipel’”. Kodikas/Code 29(1-3), 137-155. Fricke, Ellen (2013), “Towards a unified grammar of gesture and speech: A multimodal approach”, in: Cornelia Müller et al. (eds.), Body – Language – Communication. An International Handbook on Multimodality in Human Interaction. Berlin: de Gruyter, vol. 1, 733–754. Halliday, Michael A. K./Matthiessen, Christian M. (2004), An Introduction to Functional Grammar. London: Arnold. Kress, Gunther/van Leeuwen, Theo (1996), Reading Images. The Grammar of Visual Design. London: Routledge. Kress, Gunther/van Leeuwen, Theo (2001), Multimodal Discourse. London: Arnold. Liu, Yu/O’Halloran, Kay (2009), “Intersemiotic texture: Analyzing cohesive devices between language and images”. Social Semiotics 19(4), 367-388. Marsh, Emily E./White, Marilyn D. (2003), “A taxonomy of relationships between images and text”, Journal of Documentation 59(6), 647–672. Martinec, Radan/Salway, Andrew (2005), “A system for image-text relations in new (and old) media”, Visual Communication 4(3), 339–374. Oviatt, Sharon L. (1999), “Ten myths of multimodal interaction”. Communications of the ACM 42,11: 74-81. Schank, Roger C./Abelson, Robert P. (1977), Scripts, Plans, Goals, and Understanding. An Inquiry into Human Knowledge Structures. Hillsdale, NJ: Erlbaum. Siefkes, Martin (in print), “An Experimental Approach to Multimodality. Investigating the Interactions between Musical and Architectural Styles in Aesthetic Perception”, in: Building Bridges for Multimodal Research. Theories and Practices of Multimodal Analysis. Bern/New York: Peter Lang. Siefkes, Martin (in review), “Frames in discourse. Connecting frame semantics and discourse analysis in an SDRT-based model”. Wildfeuer, Janina (2012), “Intersemiosis in Film: Towards a New Organisation of Semiotic Resources in Multimodal Filmic Text”. Multimodal Communication 1, 3: 276-304.