Multimodalität im Schnittbereich von Medientheorie und Semiotik

Abstract

Die meisten medientheoretischen Ansätze haben sich verhältnis­mäßig wenig mit den Bedürfnissen und Anforderungen von Multimodalität beschäftigt. Gleichzeitig haben sich die am meisten verbreiteten Multimodalitätstheorien genauso wenig mit dem Medienbegriff auseinandergesetzt. Daher sind medientheoretische Behauptungen zum Phänomen der Multimodalität sowie multimodale Behauptungen zum Begriff der Medien oft unzureichend. Diese Situation schwächt nicht nur beide Seiten, son­dern vernachlässigt die systematische und empirische Analyse von komplexen multimo­dalen Artefakten und Handlungen. In diesem Beitrag stellen wir einen Medienbegriff vor,der multimodal-semiotische (Bateman 2013, 2016) und medien- bzw. bildtheoretische Grundlagen (Sachs-Hombach 2013) verbindet. Den Ausgangspunkt unseres Vorschlags bilden empirische Analysen multimodaler Phänomene in Film, Comics, Grafikdesign, Bildern oder Diagrammen. Anhand dieser Analysen haben wir ein Grundgerüst entwickelt, mit dem wir die gegenseitigen produktiven Beziehungen zwischen Medien, Zeichenmodalitäten (engl. ‚semioticmodes‘) und Genres aufzeigen können. Dies impliziert, dass alle drei Größen unabdingbar für effektive Analysen sind. Medien bringen hierbei soziokulturelle Aspekte ins Spiel, die im Zusammenhang ihrer Verwendung „Biotope für Semiosis“ (nach Winkler 2008: 213) etablieren. Dagegen lässt sich an den Zeichenmodalitäten der Herstellungsprozess nachvollziehen, durch den materielle Artefakte Zeichenstatus erhalten und in kommunikative Handlungen eingebunden werden. Genres erlauben schließlich eine Medien und Zeichenmodalitäten übergreifende Beschreibung der kommunikativen Ziele (Bateman 2014a). Als besondere Leistung des skizzierten Modells lässt sich zeigen, wie auch transmediale Artefakte und Handlungen präzise beschrieben werden können. Eine saubere Trennung der theoretischen und analytischen Zuständigkeiten von Medien, Zeichenmodalitäten und Genres bietet darüber hinaus eine Reihe methodologischer Prinzipien, die den konkreten Umgang mit komplexen multimodalen Situationen erleichtern (vgl. Bateman u.a. 2017 bzw. Wildfeuer u.a. 2020).