Betrachtet man die semiotischen Artefakte zeitgenössischer Kulturen, dann wächst der Anteil an multimodalen Texten (Filme, Webseiten, Präsentationen, Comics, Computerspiele, interaktive Grafiken, Bildkunstwerke mit Textanteil, Theaterstücke mit Bild- und Videoeinsatz uvm.) rapide an. Zugleich nimmt die semiotische Komplexität dieser Artefakte, die zunehmend auch interaktive Dimensionen gewinnen, immer weiter zu.
Multimodale Texte und Artefakte entstehen durch die Verwendung mehrerer semiotischer Modi bzw. Zeichensysteme wie Sprache, Bilder, Typographie, Graphiken, Gestik, Körperhaltungen und Geräusche, die zudem in unterschiedlichen perzeptuellen (= sensorischen) Modi übertragen werden, etwa auditorisch, visuell, oder haptisch.
Die Untersuchung von Multimodalität bildet ein wachsendes interdisziplinären Forschungsfeld in Linguistik, Semiotik, Ästhetik, Bild- und Filmsemiotik, kognitiver Psychologie und weiteren Disziplinen. Um mit aktuellen Entwicklungen mitzuhalten und der Komplexität heutiger Kulturen gerecht zu werden, benötigen diese Disziplinen neue Forschungsansätze und Methoden, wobei sie ihre jeweilige theoretische Expertise zusammenbringen.
Zusätzlich zu Beschreibungen der beteiligten Zeichensysteme ist für die Multimodalitätsforschung das Verständnis entscheidend, wie die semiotischen Modi zusammen- und wechselwirken und dabei eine textuelle Einheit erzeugen. Ansätze, die die Interaktionen zwischen semiotischen Modi differenziert auf verschiedenen Ebenen beschreiben können, sind bislang nur rudimentär vorhanden. Ein Modell, das formale, semantische und stilistische Eigenschaften berücksichtigt und in eine formale Diskursrepräsentationstheorie integriert, wird in Siefkes (2015) vorgestellt. Auf der Basis eines Formats für Text- und Diskursrepräsentation können verschiedene Typen von Interaktionen zwischen (semiotischen und perzeptuellen) Modi unterschieden und in formale Diskursrepräsentationsmodelle einbezogen werden.
Literatur
– Baldry, Anthony & Paul Thibault, Paul (2006), Multimodal Transcription and Text Analysis. London: Equinox.
– Bateman, John (2008), Multimodality and Genre. A Foundation for the Systematic Analysis of Multimodal Documents. London: Palgrave Macmillan.
– Bateman, John (2014), Text and Image. A Critical Introduction to the Visual-Verbal Divide. New York: Routledge.
– Bateman, John A. & Wildfeuer, Janina (2014): „A multimodal discourse theory of visual narrative“. Journal of Pragmatics 74, 180–208.
– Calvert, Gemma, Spence, Charles, & Stein, Barry (2004), The Handbook of Multisensory Processes. Cambridge MA: MIT.
– Deppermann, Arnulf (ed.) (2010), Conversation Analytic Studies of Multimodal Interaction. Special issue, Journal of Pragmatics 46(1).
– Deppermann, Arnulf & Linke, Angelika (eds.) (2010), Sprache intermedial: Stimme und Schrift – Bild und Ton. Berlin/New York: de Gruyter.
– Forceville, Charles & Urios-Aparisi, Eduardo (2009), Multimodal Metaphor. Berlin/New York: de Gruyter.
– Fricke, Ellen (2012), Grammatik multimodal: Wie Wörter und Gesten zusammenwirken. Berlin/New York: de Gruyter.
– Fricke, Ellen (2013), „Towards a unified grammar of gesture and speech: A multimodal approach“, in: Cornelia Müller, Alan Cienki, Ellen Fricke, Silva H. Ladewig, David McNeill & Sedinha Teßendorf (eds.), Body – Language – Communication. An International Handbook on Multimodality in Human Interaction. Berlin: de Gruyter, vol. 1, 733–754.
– Hess-Lüttich, Ernest W.B. & Wenz, Karin (eds.) (2006), Stile des Intermedialen. Tübingen: Narr.
– Holly, Werner (2011), „Social Styles in Multimodal Texts: Discourse Analysis as Culture Study“, in: Claudio Baraldi, Andrea Borsari & Augusto Carli (eds.), Hybrids, Differences, Visions. Aurora: Davies Group, 191–206.
– Jäger, Ludwig (2010), „Intermedialität – Intramedialität – Transkriptivität. Überlegungen zu einigen Prinzipien der kulturellen Semiosis“, in: Deppermann/Linke 2010, 301-324.
– Jewitt, Carey (2009), The Routledge Handbook of Multimodal Analysis. London/New York: Routledge.
– Kress, Gunther & Theo van Leeuwen (1996), Reading Images. The Grammar of Visual Design. London: Routledge.
– Kress, Gunther & Theo van Leeuwen (2001), Multimodal Discourse. London: Arnold.
– O’Halloran, Kay (ed.) (2004), Multimodal Discourse Analysis. Systemic Functional Perspectives. London: Continuum.
– Siefkes, Martin (2015), „How semiotic modes work together in multimodal texts: Defining and representing intermodal relations“. 10plus1 – Living Linguistics 1, 2015: 113-131.
– Siefkes, Martin & Arielli, Emanuele (2015), „An Experimental Approach to Multimodality: How Musical and Architectural Styles Interact in Aesthetic Perception“, in: J. Wildfeuer (ed.), Building Bridges for Multimodal Research. International Perspectives on Theories and Practices of Multimodal Analysis. Bern/New York: Lang.
– Stöckl, Hartmut (2004), „In between Modes. Language and Image in Printed Media“, in: Eija Ventola, Cassily Charles & Martin Kaltenbacher (eds.), Perspectives on Multimodality. Amsterdam: Benjamins, 9-30.
– Wildfeuer, Janina (2014), Film Discourse Interpretation. Towards a New Paradigm for Multimodal Film Analysis. London/New York: Routledge.