Fluch oder Segen des multimedialen Lernens Deep impact ?! Fluch oder Segen des multimedialen Lernens Dr. Thomas Huk Learning Lab Lower Saxony Institut für Sozialwissenschaften Lehrstuhl Prof. Floto „Medieneinsatz in der Wissenschaft“

Gliederung des Vortrages L3S Was ist das ? „Neue Medien“ „Multimedial“ „Multimodal“ „Multicodal“ Alles bekannt ? Forschung Fazit

Gliederung des Vortrages L3S Alles bekannt ? „Neue Medien“ Forschung Fazit L3S Alles bekannt ? „Neue Medien“ Forschung Fazit

L3S WGLN SLL SwLL L3S ( Learning Lab Lower Saxony ) Wallenberg Global Learning Network WGLN L3S Alles bekannt ? „Neue Medien“ Forschung Fazit Stanford Learning Lab SLL Stanford Swedish Learning Lab SwLL KTH Stockholm Uppsala Univ. Karolinska Inst. L3S Learning Lab Lower-Saxony Uni-Hannover TU-BS HBK-BS

„Neue Medien“ - Definitionen Multimedia L3S Alles bekannt ? „Neue Medien“ Forschung Fazit „… refers to the idea that the instructor uses more than one presentation medium“ (Mayer & Sims1994) „Multimedial seien Angebote, die auf unterschiedliche Speicher- und Präsentationstechniken verteilt sind, aber integriert präsentiert werden“ (Weidenmann 1997) Mayer, R.E. & Sims, V.K. (1994): Journal of Educational Psychology 86(3): S. 389-401 Weidenmann, B. (1997) In: Issing & Klimsa (Hrsg.): Information und Lernen mit Multimedia. S. 65-84

„Neue Medien“ - Definitionen Multimodal L3S Alles bekannt ? „Neue Medien“ Forschung Fazit „… refers to the idea that the learner uses more than one sense modality“ (Mayer & Sims 1994) „… seien Angebote, die unterschiedliche Sinnesmodalitäten bei den Nutzern ansprechen“ (Weidenmann 1997) Mayer, R.E. & Sims, V.K. (1994): Journal of Educational Psychology 86(3): S. 389-401 Weidenmann, B. (1997), In: Issing & Klimsa (Hrsg.): Information und Lernen mit Multimedia. S. 65-84

„Neue Medien“ - Definitionen Multicodal L3S Alles bekannt ? „Neue Medien“ Forschung Fazit „… seien Angebote, die unterschiedliche Symbolsysteme bzw. Codierungen aufweisen [z.B. Text mit Bildern, Graphik mit Beschriftung]“ (Weidenmann 1997) Weidenmann, B. (1997), In: Issing & Klimsa (Hrsg.): Information und Lernen mit Multimedia. S. 65-84

Alles bekannt ? Quelle ? 90% 70% Behaltenswert 50% 30% 20% 10% Tun Nach- erzählen 70% L3S Alles bekannt ? „Neue Medien“ Forschung Fazit Hören + Sehen 50% Behaltenswert Sehen 30% Hören 20% Lesen 10% Quelle ?

Alles bekannt ? 90% 70% L3S Alles bekannt ? „Neue Medien“ Forschung Fazit Eine wissenschaftliche Quelle [hierfür] wird man allerdings vergeblich suchen 50% Behaltenswert 30% 20% 10% (Weidenmann 1997) Lesen Hören Sehen Hören + Sehen Nach- erzählen Tun Weidenmann, B. (1997), In: Issing & Klimsa (Hrsg.): Information und Lernen mit Multimedia. S. 65-84

Codalität Modalität Bilder Virtuelle Realität L3S „Neue Medien“ Alles bekannt ? „Neue Medien“ Forschung Fazit Modalität Bilder Virtuelle Realität

Monocodal vs. Multicodal „empirisch gut belegt ist die positive Wirkung von Illustrationen auf das Behalten von Text“ „empirisch gut abgesicherter Befund…, wonach sich ein Behaltensvorteil von multicodal präsentierter Information…zeigt“ (Weidenmann 1997) L3S Alles bekannt ? „Neue Medien“ Forschung Fazit Weidenmann, B. (1997), In: Issing & Klimsa (Hrsg.): Information und Lernen mit Multimedia. S. 65-84

dual coding theory Mental representation of verbal system working memory L3S Alles bekannt ? „Neue Medien“ Forschung Fazit Presentation of verbal explanation Mental representation of verbal system Performance Presentation of visual explanation Mental representation of visual system Long-term memory Mayer, R.E. & Sims, V.K. (1994): Journal of Educational Psychology 86(3): S. 389-401

dual coding theory Vorhersagen L3S Alles bekannt ? „Neue Medien“ Forschung Fazit „…we predict that coordinated presentation of verbal and visual explanations will lead to better problem-solving transfer than uncoordinated presentation“ (Mayer & Sims 1994) Mayer, R.E. & Sims, V.K. (1994): Journal of Educational Psychology 86(3): S. 389-401

dual coding theory Multicodal & Monomodal L3S Alles bekannt ? „Neue Medien“ Forschung Fazit Höherer Lernerfolg, wenn Text und Bilder auf der gleichen Buchseite (vs. Text und Bilder voneinander isoliert) (Mayer 1989, Mayer & Gallini 1990) Multicodal & Multimodal Höherer Lernerfolg, wenn Animation und Sprechtext simultan (vs. sukzessiv) (Mayer & Anderson 1991, 1992) Mayer, R.E (1989): Journal of Educational Psychology 81: S. 240-246 Mayer, R.E & Gallini, J.K. (1990): Journal of Educational Psychology 82: S. 715-726 Mayer, R.E & Andersen, R.B. (1991): Journal of Educational Psychology 83: S. 481-490 Mayer, R.E & Andersen, R.B. (1992): Journal of Educational Psychology 84: S. 444-452

dual coding theory Mental representation of verbal system working memory L3S Alles bekannt ? „Neue Medien“ Forschung Fazit Presentation of verbal explanation Mental representation of verbal system Performance Presentation of visual explanation Mental representation of visual system Long-term memory Mayer, R.E. & Sims, V.K. (1994): Journal of Educational Psychology 86(3): S. 389-401

dual coding theory Hypothese 1: Die Bildung der referentiellen Verbindung zwischen verbaler und visueller Repräsentation ist entscheidend L3S Alles bekannt ? „Neue Medien“ Forschung Fazit Hypothese 2: Räumliches Vorstellungsvermögen ist entscheidend (da das räumliche Vorstellungsvermögen verstärkt kognitive Ressourcen belastet ) Mayer, R.E. & Sims, V.K. (1994): Journal of Educational Psychology 86(3): S. 389-401

dual coding theory Räumliches Vorstellungsvermögen hoch niedrig 10 L3S Alles bekannt ? „Neue Medien“ Forschung Fazit sukzessiv simultan Anzahl Lösungen (Mittelwert) 5 Mayer, R.E. & Sims, V.K. (1994): Journal of Educational Psychology 86(3): S. 389-401

Monomodal vs. Multimodal „Although multimedia researchers emphasize the advantages of integrating materials across modalities, others have found an advantage to combined presentation of formats within one sense modality“ L3S Alles bekannt ? „Neue Medien“ Forschung Fazit (Goolkasian 2000) Goolkasian, P. (2000): The Journal of General Psychology 127: S. 439-459

„split attention phenomenon“ Multimodal Kontra L3S Alles bekannt ? „Neue Medien“ Forschung Fazit „cognitive overload“ „split attention phenomenon“ Sweller, J.; Chandler, P.; Tierney, P. & Cooper, M. (1990): Journal of Exp. Psychology 119: S. 176-192

Multimodal Pro L3S Alles bekannt ? „Neue Medien“ Forschung Fazit „…hirnphysiologische Befunde, wonach die Verarbeitung von Sprache von anderen Großhirn-Systemen geleistet wird als die Verarbeitung von Bildern“ (Weidenmann 1997) Weidenmann, B. (1997), In: Issing & Klimsa (Hrsg.): Information und Lernen mit Multimedia. S. 65-84

Pro Multimodal Multi- Mono- modal Lernerfolg Bild + Audio Bild + Text L3S Alles bekannt ? „Neue Medien“ Forschung Fazit Lernerfolg Mono- modal Multi- Bild + Audio Bild + Text Dubois, M. & Vial, I. (2000): Journal of Computer Assisted Learning 16: S. 157-165 Mayer, E.M. & Moreno, R. (1998): Journal of Educational Psychology 90: S. 312-330 Mousavi, S.Y., Low, R. & Sweller, J.. (1995): Journal of Educational Psychology 87: S. 319-334

Monomodal vs. Multimodal „Es ist entlastend, wenn die Erläuterung von komplexen Bildern oder Bildfolgen nicht ebenfalls visuell, sondern auditiv präsentiert wird“ L3S Alles bekannt ? „Neue Medien“ Forschung Fazit (Weidenmann 1997a) „Audio…hat mehrere Vorzüge“ übersichtlicherer Bildschirm - keine Blicksprünge zwischen Text und Bild Ergänzung situierender Abbilder (Originalsprache & Originalgeräusche) (Weidenmann 1997b) Weidenmann, B. (1997a), In: Issing & Klimsa (Hrsg.): Information und Lernen mit Multimedia. S. 65-84 Weidenmann, B. (1997b), In: Issing & Klimsa (Hrsg.): Information und Lernen mit Multimedia. S. 108-121

Monomodal vs. Multimodal The following general hypothesis was investigated: the presentation of illustrated material for learning new words will result in better learning if learners are encouraged to process interrelated information from multiple sources. L3S Alles bekannt ? „Neue Medien“ Forschung Fazit (Dubois & Vial 2000) Dubois, M. & Vial, I. (2000): Journal of Computer Assisted Learning 16: S. 157-165

Monomodal vs. Multimodal Versuchsdesign L3S Alles bekannt ? „Neue Medien“ Forschung Fazit standardisierte PC-Umgebung 19 Vokabeln (Russisch – Französisch) Ein Wortpaar (Russisch – Französisch) pro Screen Dubois, M. & Vial, I. (2000): Journal of Computer Assisted Learning 16: S. 157-165

Monomodal vs. Multimodal Anzahl Lösungen (Mittelwert) 5 A A B L3S Alles bekannt ? „Neue Medien“ Forschung Fazit B C C Dubois, M. & Vial, I. (2000): Journal of Computer Assisted Learning 16: S. 157-165

Monomodal vs. Multimodal L3S Alles bekannt ? „Neue Medien“ Forschung Fazit „Learning improved when integrated information was presented, especially if it was given in the auditory mode.“ (Dubois & Vial 2000) Dubois, M. & Vial, I. (2000): Journal of Computer Assisted Learning 16: S. 157-165

Monomodal vs. Multimodal „ Can we reason just as efficiently from spoken information as from pictured or printed words? What advantage if any would be provided by the combined format conditions?“ L3S Alles bekannt ? „Neue Medien“ Forschung Fazit (Goolkasian 2000) Versuchsdesign standardisierte PC-Umgebung einfacher Sachverhalt Text, Wort, Grafik, sowie Kombinationen Goolkasian, P. (2000): The Journal of General Psychology 127: S. 439-459

Monomodal vs. Multimodal Ergebnisse L3S Alles bekannt ? „Neue Medien“ Forschung Fazit „Interistingly, the combination conditions that included a spoken format did not lead to faster response times. So, when given a choice, participants do not rely on spoken words…“ „The advantage of multimedia presentation identified with instructional examples drawn from math, science and technology (Mayer & Sims 1994) did not extend to the simple problem-solving items used in these experiments“ „data show a considerable picture advantage“ „A comparison of the combined with the single-format conditions did not result in any noticeable advantage to multimedia presentation formats“ „data show an unexpected advantage to spoken material… spoken words provided a response advantage in comparison to pictures“ Goolkasian, P. (2000): The Journal of General Psychology 127: S. 439-459

…haben besondere Bedeutung Bilder …haben besondere Bedeutung L3S Alles bekannt ? „Neue Medien“ Forschung Fazit Nelson, D. L.. (1979) In: Cermak, L. & Craik, I. M. (Hrsg): Level of processing in human memory „picture superiority effect“ (Nelson 1979) Listen mit Abbildungen bekannter Objekte werden besser behalten als Listen mit den Namen der Objekte

…haben besondere Bedeutung Bilder …haben besondere Bedeutung L3S Alles bekannt ? „Neue Medien“ Forschung Fazit - Ducharme & Fraisse 1965 - Fraisse & Leveille 1975 - Shephard 1967 Ducharme, R. & Fraisse, P. (1965): Canadian Journal of Psychology, 19: S. 253-261 Fraisse, P. & Leveille, M. (1975): L´année Psychologique, 75: S. 409-416 Shephard, R.N. (1967): Journal of Verbal Learning and Verbal Behaviour, 6: S. 156-163

Bilder Funktion von Bildern: Zeigefunktion L3S Alles bekannt ? „Neue Medien“ Forschung Fazit Zeigefunktion Situierungsfunktion (Szenarium bereitstellen) Konstruktionsfunktion (für ein mentales Modell) (Weidenmann 1997) Weidenmann, B. (1997b), In: Issing & Klimsa (Hrsg.): Information und Lernen mit Multimedia. S. 108-121

Virtuelle Realität Telepresence is defined as the experience of presence in an environment by means of a communication medium. In other words, presence refers to the natural perception of an environment, and telepresence refers to the mediated perception of an environment (Steuer 1992) L3S Alles bekannt ? „Neue Medien“ Forschung Fazit Steuer, J. (1992), Journal of Communication 42(4): S. 73-93

Virtuelle Realität Hypothese: telepresence vividness interactivity L3S Alles bekannt ? „Neue Medien“ Forschung Fazit telepresence vividness interactivity Überprüfung: Petersen & Bente (2001) Steuer, J. (1992), Journal of Communication 42(4): S. 73-93

Virtuelle Realität 2 x 2 Versuchsdesign L3S Alles bekannt ? „Neue Medien“ Forschung Fazit 2 Fahrsimulatoren (Faktor: vividness) 2 Instruktionen (hohe vs. geringe Aufgabenrelevanz) Petersen, A. & Bente, G. (2001): Zeitschrift für Medienpsychologie 13(3): S. 138-145

Virtuelle Realität Ergebnis 2 Fahrsimulatoren (Faktor: vividness) L3S Alles bekannt ? „Neue Medien“ Forschung Fazit 2 Fahrsimulatoren (Faktor: vividness) kein signifikanter Unterschied 2 Instruktionen (hohe vs. geringe Aufgabenrelevanz) signifikanter Unterschied Petersen, A. & Bente, G. (2001): Zeitschrift für Medienpsychologie 13(3): S. 138-145

Fazit „However, there are still only a few studies devoted to the effects of the simultaneous use of different media coming from a single source. Intermedia interactions have not yet been the topic of systematic experimental research in the field of multimedia learning“ L3S Alles bekannt ? „Neue Medien“ Forschung Fazit (Dubois & Vial 2000) Dubois, M. & Vial, I. (2000): Journal of Computer Assisted Learning 16: S. 157-165