Komposition von Transmedia und Modes-of-Encounter: Navigieren zwischen vertikaler und horizontaler Aufmerksamkeit

1. Einleitung: Modi der Aufmerksamkeit

In der Kulturtheorie wird immer wieder der Verdacht geäußert, dass unseren modernen Wahrnehmungsmodi, die durch die gegenwärtige fragmentierte Medienlandschaft hervorgerufen werden, etwas Wesentliches verloren gegangen ist. Die Begriffe "vertikale" und "horizontale" Wahrnehmung wurden wiederholt verwendet, um gegensätzliche Formen der Aufmerksamkeit zu beschreiben. Eine "vertikale" oder tiefe Wahrnehmungsweise wurde mit introspektiver Reflexion und tiefgehender Beschäftigung mit einem Kunstwerk gleichgesetzt, während sich die "horizontale" Wahrnehmung auf die zerstreute Aufmerksamkeit, die Unfähigkeit, sich auf eine einzelne Sache zu konzentrieren, und damit auf die quasi-zufällige Sammlung von Fragmenten bezog.

Schon lange vor dem Aufkommen der sozialen Medien stellte Frederic Jameson in seiner bahnbrechenden Kritik der Postmoderne (1991) die Tiefe von Van Goghs Diamond Dust Shoes der "Oberfläche" von Warhols Diamond Dust Shoes gegenüber und beklagte einen Kollaps der Bedeutung, eine Verflachung der Perspektive und einen Verlust der Vertikalität. Im Bereich der Musik hat Marlies De Munck (2024) dieses Anliegen in jüngerer Zeit aufgegriffen. Sie beschreibt eine Verschiebung vom vertikalen Hören der absoluten Musik des 19. Jahrhunderts - das in Introspektion und Transzendenz verwurzelt ist - hin zum horizontalen Hören, das erstmals von John Cages 4'33" eingeführt wurde, bei dem die Aufmerksamkeit über Oberflächen wandert und der Kontext die Struktur ersetzt.

Beide, Jameson und De Muck, betrachten diese Transformation als einen Rückgang. Was aber, wenn die Verlagerung der Aufmerksamkeit zur Horizontalität - einschließlich der heutigen Praktiken des Browsing, Skimming und Sampling - kein Symptom eines Niedergangs ist, sondern eine neue Wahrnehmungsrealität, die es wert ist, angenommen zu werden?

Claire Bishop bietet eine offenere und, wie ich glaube, produktivere Sichtweise. In Disordered Attention (2024) schlägt sie vor, dass vertikale und horizontale Aufmerksamkeit sich nicht gegenseitig ausschließen, sondern dynamisch miteinander verflochten sind. Unsere heutige Wahrnehmung ist nicht nur flüchtig - sie bewegt sich zwischen den Modi, akkumuliert Bedeutung über Zeit und Kontext hinweg. Wo Jameson und De Munck eine Fragmentierung und einen Mangel an tiefgreifendem Wahrnehmungsengagement sehen, sieht Bishop ein Potenzial und eine Abkehr von der normativen Idealisierung einer bestimmten Form der Aufmerksamkeit.

Dieses großzügigere Verständnis von Aufmerksamkeit wirft die Frage auf: Welche Arten von künstlerischen Formen sind in der Lage, mit - und nicht gegen - unsere zeitgenössische Wahrnehmungsbedingung zu arbeiten: die "Vertikale" UND die "Horizontale"? Eine Antwort liegt in der Praxis der transmedialen Komposition.

2. Transmediale Komposition

Bei der transmedialen Komposition umfasst ein Kunstprojekt mehrere Kunstwerke, die jeweils eine andere Kombination von Medien verwenden. Es handelt sich um einen Kompositionsansatz, der bewusst verschiedene Wahrnehmungsweisen hervorruft. Sie arbeitet medienübergreifend und bietet so genannte Modes-of-Encounter, also "Begegnungsmodi" unterschiedlicher Qualität zwischen dem Publikum und dem Kunstwerk, die sowohl zur intensiven Auseinandersetzung als auch zum assoziativen Schweifen einladen. Jeder einzelne Teil eines transmedialen Werks kann für sich stehen, doch eine umfassendere Erfahrung ergibt sich erst im Laufe der Zeit, wenn man mehrere der miteinander verwandten Werke erfährt - durch das, was ich hermeneutig accrual, also "hermeneutische Akkumulation" nenne. Das Publikum navigiert durch verschiedene Formate, Kontexte und sensorische Umgebungen und sammelt dabei unterschiedliche Perspektiven.

Diese Art und Weise medienübergreifend zu arbeiten, um Bedeutung zu konstruieren, ist nicht neu. Sie könnte sogar so alt sein wie die menschliche Kultur. Im Laufe der Geschichte haben sich Kulturen verschiedener Ausdrucksformen bedient, um komplexe Ideen zu vermitteln. Religionen zum Beispiel artikulieren das, was ich als idea-scape bezeichnen würden, durch Texte, aber auch durch rituelle Praktiken, Architektur, Symbole, Musik, Malerei und vieles mehr. Jedes Element kann unabhängig funktionieren, aber zusammen bilden sie ein Bedeutungsnetz. Wichtig ist, dass kein einzelnes Medium die gesamte Botschaft enthält; die Bedeutung ergibt sich aus der Art und Weise, wie diese Medien über Zeit, Raum und Erfahrung hinweg interagieren.

In einem zeitgenössischen Kontext bietet der österreichische Komponist Peter Ablinger ein eindrucksvolles Beispiel für transmediale Arbeitsweisen. Sein Projekt Weiss/Weisslich begann 1980, das jüngste Werk aus der Serie wurde 2023 fertiggestellt. Es umfasst ein breites Spektrum an Medien: von rauschenden Bäumen (Nr. 26) und Stadtlärm (Nr. 5) über Grafiken (Nr. 7c) oder Fotos (Nr. 11) bis hin zu Installationen (Nr. 7 und viele weitere) und gefundenen klangerzeugenden Objekten (Nr. 8). Jedes Stück ist autonom, doch alle sind durch ein gemeinsames Konzept verbunden: die Erforschung von Rauschen und Wahrnehmung und die Assoziation von Rauschen mit der Farbe Weiß. Sie bilden keine Erzählung im herkömmlichen Sinne, aber sie sind durch eine sich entfaltende Thematik miteinander verbunden. Hörer oder eine Hörerinnen, die einem Stück in einer Galerie und einem anderen Jahre später in einem Konzertsaal begegnen, können sie immer noch zueinander in Beziehung setzen und eine größere, konzeptionelle Struktur und ein sich entwickelndes Verständnis des Zusammenhangs zusammensetzen.

Im populären Musikkontext ist Björks Biophilia (2011) ein Beispiel für transmediale Komposition. Was zunächst als Album in verschiedenen kunstvoll gestalteten Editionen veröffentlicht wurde, erweiterte sich zu einer Reihe von interaktiven Apps, Live-Performances, pädagogischen Workshops, Installationen und sogar einem Dokumentarfilm. Jede Komponente bot eine andere Art der Begegnung, doch alle kreisten um eine zentrale Themenkonstellation: die Beziehung zwischen Natur, Kultur und Wissenschaft. Auch hier zeigt sich die ganze Tragweite des Werks erst im Laufe der Zeit und über die verschiedenen Medien hinweg.

Bei der transmedialen Komposition geht es also nicht einfach um die Verwendung mehrerer Medien in einem einzigen Werk, wie bei Multimedia oder Intermedia. Es geht um den Aufbau eines Netzwerks von Werken, von denen jedes autonom, aber konzeptionell miteinander verwoben ist, und darum, das Publikum über verschiedene Wahrnehmungs- und Interpretationswege anzusprechen. Komposition wird nicht als singulärer und linearer Akt der Autorenschaft verstanden, sondern als ein verteilter, sich entwickelnder Prozess, der widerspiegelt, wie wir in einer komplexen Medienlandschaft konsumieren, interpretieren und Bedeutung konstruieren.

3. Kriterien: Idea-Scape, Mode-of-Encounter, Hermeneutic Accrual

Um wesentliche Merkmale von transmedialen Projekten zu beschreiben, möchte ich auf drei Begriffe eingehen, die ich bereits am Rande erwähnt habe: Idea-Scape, Modes-of-Encounter und Hermeneutic Accrual.

3.1 Idea-Scape 

Ein Idea-Scape ist der thematische oder konzeptionelle gemeinsame Nenner, den alle Werke, die zu einer transmedialen Komposition gehören, teilen. Es ist das gemeinsame Feld - das sehr abstrakt oder auch ein konkretes Narrativ sein kann - das die ansonsten unterschiedliche Werke miteinander verbindet. In Anlehnung an Begriffe wie landscape und soundscape betont idea-scape die Kontinuität und das Zusammenspiel von Top-down- und Bottom-up Gestaltungsprozessen. Man kann es sich wie ein Gravitationsfeld vorstellen, in dem verschiedene Werke kreisen, von denen jedes einen einzigartigen Blickwinkel bietet, die aber alle auf dieselbe Anziehungskraft reagieren.

3.2 Mode-of-Encounter 

Wir sprechen oft darüber, was ein Kunstwerk ist, aber weniger häufig darüber, wie wir mit ihm in Kontakt kommen. Doch dieses "wie" - die Bedingungen der Auseinandersetzung, die räumliche und sensorische Rahmung, die physische und kognitive Positionierung des Publikums - ist oft ebenso wichtig für die Art und Weise, wie wir ein Werk wahrnehmen. Ich verwende den Begriff Modes-of-Encounter, um diesen Aspekt zu beschreiben: das Zusammenspiel von Medien, Umgebung und sonstigen Merkmalen, die bestimmen, wie ein Publikum einem Kunstwerk begegnet.

Einige Werke fordern uns auf, schweigend in einem abgedunkelten Saal zu sitzen. Andere laden uns ein, uns zu bewegen, zu interagieren, Sachen zu berühren, zu sprechen. Einige entfalten sich über Kopfhörer in intimer Nähe, andere über multisensorische Installationen in weitläufigen Räumen. Jeder dieser Schauplätze bringt seine eigenen Codes, Erwartungen und affektiven Strukturen mit sich, und jeder formt die Bedeutung des präsentierten Werks neu.

Bei der transmedialen Komposition ist die Gestaltung verschiedener Arten der Begegnung Teil der Komposition: Das räumliche Layout, die sensorische Modalität (audio/visuell/taktil), die Möglichkeiten der Interaktion - all dies bestimmt die Art der Begegnung und damit auch die Interpretationsmöglichkeiten.

3.3 Hermeneutic Accrual

Da die Teile einer transmedialen Komposition autonom sind und zu unterschiedlichen Zeiten und an unterschiedlichen Orten präsentiert werden, kann das Publikum ihnen in beliebiger Reihenfolge und zu unterschiedlichen Zeiten begegnen. Das Verständnis entfaltet sich kumulativ, nicht linear - ein Prozess, den ich hermeneutic accrual nenne. Während jedes einzelne Werk je nach der Art der Begegnung mehr "vertikale" oder "horizontale" Aufmerksamkeit anregen kann, lädt der kumulative Prozess von sich aus zur horizontalen Wahrnehmung ein. Der "Raum", in dem die verschiedenen Werke zusammenkommen, ist das Gedächtnis des Publikums - hier erlangt es eine so genannte "asynchrone Präsenz" (Ciciliani 2021) - asynchron, da sie zu unterschiedlichen Zeiten erlebt wurden. Das Kurzzeitgedächtnis, das im Moment der Begegnung aktiviert wird, interagiert mit dem Langzeitgedächtnis, in dem gefilterte Eindrücke früherer Werke gespeichert sind. Jede neue Begegnung wirft ein neues Licht auf die anderen, fügt Schichten von Nuancen, Resonanz oder Widersprüchen hinzu. Die Interpretation wird dynamisch: vertikale (tiefe, reflektierende) und horizontale (relationale, vernetzte) Aufmerksamkeit interagieren, um Bedeutung zu konstruieren.

Case Study: "Why Frets?"

Mein eigenes Projekt Why Frets? veranschaulicht, wie diese Konzepte in der Praxis funktionieren. Das Projekt basiert auf einer fiktiven Geschichte der E-Gitarre, die aus der Perspektive des Jahres 2083 erzählt wird, und umfasst drei verschiedene Hauptkomponenten: ein Multimedia-Konzert (Why Frets? - Downtown 1983), eine Installation (Why Frets? - Tombstone) und eine Lecture-Performance (Why Frets? - Requiem for the Electric Guitar). Die Veröffentlichung des Projekts in Form eines Buches (Why Frets? 2083) mit integriertem USB-Stick erweitert das Projekt und kann als vierter Teil betrachtet werden. Ein fünfter Teil ist eine Webseite, die über einen QR-Code zugänglich ist (Why Frets? - Necromancy).

LINK: Why Frets? 2083 https://www.galerie-der-abseitigen-kuenste.de/publikation/why-frets

Jeder Teil kann unabhängig voneinander erlebt werden. Das Konzert lässt die Zuhörer in eine performative Situation eintauchen, die Lecture-Performance beginnt als pseudohistorische akademische Vorlesung, die zunehmend absurder wird, die Installation ermöglicht eine interaktive Erkundung. Aber zusammen bilden sie ein Netz von Referenzen - eine Ideenlandschaft (idea-scape) über Fiktion, Geschlechterrollen, Musikgeschichte und kulturelle Fetischisierung. Das Publikum kann einem Teil live begegnen, einem anderen in einem Buch, einem weiteren Jahre später online.

Jede Art der Begegnung lädt zu einer anderen Art der Auseinandersetzung ein: passives Zuhören, aktives Lesen, räumliche Erkundung. Dabei entfaltet sich das Wechselspiel zwischen vertikaler und horizontaler Wahrnehmung. In einem Moment wird tiefe Aufmerksamkeit belohnt, in einem anderen ist es der akkumulative Vergleich, der eine neue Erkenntnis ermöglicht.

4. Ansätze zur Analyse: Differenzierte Modelle von Transmedia

Bisher habe ich mich darauf konzentriert, wie sich transmediale Komposition im Laufe der Zeit und über verschiedene Wahrnehmungsmodalitäten hinweg entfaltet, wobei Konzepte wie idea-scape, modes-of-encounter und hermeneutic accrual wichtige Merkmale beschreiben. Um unser Verständnis zu vertiefen, ist es jedoch hilfreich, zu differenzieren, wie sich Inhalte über Medien hinweg verteilen. Oder anders ausgedrückt: Wie setzt sich eine idea-scape in den einzelnen Teilen eines transmedialen Projekts zusammen und welche Beziehungen entstehen zwischen diesen Teilen?

Zu diesem Zweck habe ich eine Typologie von Transmedia-Modellen entwickelt. Sie basiert auf der Narratologie - insbesondere auf Marie-Laure Ryans (2022: 184-185) Kategorien des transmedialen Narrativs -, wurde aber an die Bedürfnisse der musikbasierten transmedialen Komposition angepasst und erweitert. Diese Modelle sind nicht als strenge Kategorien zu verstehen, sondern als Betrachtungsansätze, durch die wir verschiedene Ansätze verstehen und vergleichen können.

Lassen Sie mich kurz drei Modelle vorstellen, die ich bisher als nützliche Anhaltspunkte erlebt habe: Expansion, Translation und Segregation.

4.1 Expansion

Bei diesem Modell tragen verschiedene Teile eines Transmedia-Projekts komplementäre Perspektiven zu einem gemeinsamen idea-scape bei. Jede Komponente fügt Inhalte oder Zusammenhänge hinzu, die in den anderen nicht zu finden sind, und schafft so eine facettenreiche Sicht auf das zentrale Thema. Die Beziehung ist hier additiv. Es kann Überschneidungen in dem Sinne geben, dass bestimmte Motive in verschiedenen Teilen wieder auftauchen, aber im Wesentlichen ist es so, dass jeder Teil neue Inhalte oder einzigartige Perspektiven hinzufügt.

Mein Projekt Why Frets? ist ein gutes Beispiel dafür. Einzelne Elemente aus der Performance-Lecture Why Frets? - Requiem for the Electric Guitar finden sich in den beiden anderen Hauptteilen wieder, allerdings gibt es keine Überschneidungen zwischen Why Frets? - Downtown 1983 und Why Frets? - Tombstone, wie in Abb.1 dargestellt. Auch eine Konstellation ohne jegliche Überschneidungen wäre denkbar, siehe Abb. 2. In beiden Abbildungen kennzeichnet die gestrichelte Ellipse die gemeinsame idea-scape.

© Marko Ciciliani

Abb. 1 und 2: Links: Die Beziehungen zwischen den drei Hauptteilen von „Why Frets?“. Es gibt inhaltliche Überschneidungen zwischen „Requiem“ und den beiden anderen Teilen, „Downtown“ und „Tombstone“ haben jedoch keine gemeinsamen Elemente. Rechts: Eine Anordnung ohne Überschneidungen wäre denkbar. Der gepunktete Kreis kennzeichnet die Ideenlandschaft, die allen Elementen gemeinsam ist.

4.2 Translation

Bei der Translation wird Material über verschiedene Medien hinweg neu kontextualisiert, so dass es anders wahrgenommen wird. Im Gegensatz zur Expansion, bei der neue Inhalte eingeführt werden, geht es bei der Translation darum, dieselbe Idee - oder sogar dasselbe Material - durch ein anderes Medium neu zu interpretieren.

Die Translation hebt die medienspezifischen Unterschiede hervor und lädt das Publikum ein, die Form der Ausgestaltung zu vergleichen, nicht nur den Inhalt.

In meinem eigenen Projekt Pop Wall Alphabet zum Beispiel - bei dem Klänge, Bilder und Texte von derselben konzeptionellen Grundlage abgeleitet sind - bieten die unterschiedlichen Teile verschiedene ästhetische Erfahrungen, die größtenteils auf die Charakteristika der einzelnen Medien zurückzuführen sind. Grafisch dargestellt, würde dies zu einer vollständigen Überlappung der Sphären führen, die die einzelnen Teile bezeichnen (Abb. 3).

LINK: https://www.ciciliani.com/pwa.html

Eine vollständige Rekontextualisierung kann jedoch auch zur Bildung unterschiedlicher idea-scapes führen. James Joyces Ulysses zum Beispiel interpretiert Homers Odyssee neu und stellt deren Themen in einen radikal anderen kulturellen und zeitlichen Kontext (Abb. 4). Während die Existenz eines homogenen idea-scapes üblicherweise als Grundlage jedes transmedialen Projekts gilt (Ryan 2022), führt die substanzielle Veränderung von Kontexten in transmedialen Übersetzungen oft zu unterschiedlichen idea-scapes, innerhalb derer nur ein einziges Schlüsselelement des Inhalts konstant bleibt - Odysseus' Erzählwelt ist eine grundlegend andere als die von Leopold Bloom (Abb. 4, Thon 2018: 378ff).

© Marko Ciciliani

Abb. 3 und 4: links: maximale Überlappung zwischen allen Teilen wie in Pop Wall Alphabet (2015). Hier führen die Medienspezifika von Text, Bild und Ton zu starken qualitativen Unterschieden zwischen den einzelnen Teilen. Rechts: Zwei Erzählungen teilen sich ein Schlüsselelement, aber die grundlegende Veränderung des Kontextes führt zur Bildung von zwei getrennten Ideenlandschaften.

4.3 Segregation

Bei der Segregation wird ein einzelnes Element aus seinem ursprünglichen Kontext herausgelöst und für sich allein präsentiert. Der Inhalt ändert sich nicht, sondern nur die Rahmung. Und doch kann diese Rahmung die Erfahrung und Interpretation des Werks radikal verändern.

Thorolf Thuestads For one - for many - for all (2021) ist ein Beispiel für diesen Ansatz, bei dem kinetische Objekte sowohl als zentrales Element in einer Theateraufführung als auch - isoliert - in einer Galerieausstellung präsentiert werden (Abb. 5).

Die Segregation hat Ähnlichkeiten mit der Translation - bei beiden geht es um die Veränderung des Kontexts, die zu einer qualitativen Veränderung führt. Im Gegensatz zur Translation erfolgt bei der Segregation die Veränderung des Kontextes jedoch durch Reduktion oder Isolation.

© Marko Ciciliani

Abb. 5: Die Segregation isoliert ein Element und präsentiert es als eigenständiges Kunstwerk.

Diese Modelle sind Werkzeuge, keine strikten Regeln. Ein bestimmtes Projekt kann sich zwischen ihnen bewegen - oder alle drei kombinieren. Aber die Benennung dieser Modelle hilft mir, klarer über die kompositorischen Entscheidungen nachzudenken, die mit transmedialer Arbeit verbunden sind, und ich hoffe, dass ich im Laufe dieser Forschung weitere Modelle entdecken und entwickeln kann.

Diese Modelle verdeutlichen auch, dass es bei der medienübergreifenden Komposition nicht nur um die Schaffung einzelner Werke geht, sondern um die Gestaltung von Beziehungen, die zu vertikaler Reflexion, horizontaler Verbindung oder Momenten der Überraschung einladen.

5. Ausblick und gesellschaftspolitische Resonanz

Die oben skizzierten Modelle laden zu weiteren Experimenten ein: Was passiert, wenn wir diese Strukturen bis an ihre Grenzen ausreizen? Kann eine transmediale Komposition beispielsweise Elemente enthalten, die in Umfang oder Form so unterschiedlich sind, dass sie kaum zusammenzugehören scheinen - etwa ein einzelnes Haiku in einem Teil und eine sechsstündige durational performance in einem anderen?

Wenn jeder Teil eines transmedialen Projekts eine einzigartige Perspektive auf ein zentrales Thema - oder ein idea-scape - bietet, wie stark können sie voneinander abweichen, bevor das Gefühl des Zusammenhalts ins Wanken gerät? Mit anderen Worten: Wie weit kann man die Grenzen des idea-scape ausdehnen, bevor sich ihre innere Kohärenz auflöst? Und was passiert, wenn das der Fall ist? Gibt es eine produktive Schwelle, an der die Kohärenz zu verschwimmen beginnt, aber eine tiefere Art von Resonanz entsteht - nicht durch konzeptionelle Klarheit, sondern durch Spannung, Kontrast oder sogar Widerspruch?

Selbst die Idee der Übersetzung wirft, wenn sie über die Literatur hinaus angewandt wird, faszinierende Fragen auf. Joyce' Ulysses mag die Odyssee transformieren, aber wie würde eine musikalische oder visuelle transmediale Entsprechung aussehen? Kann ein einziges Element einen stabilen Bezugspunkt bilden, um den herum sich eine Vielzahl kontrastreicher Ideenlandschaften entfaltet?

Die Benennung der diskutierten Standardmodelle hilft mir, mir solche Ansätze vorzustellen, die interessante künstlerische Fragen aufwerfen, die nur in der kreativen Praxis erforscht werden können. Diese Rahmen leiten nicht nur die künstlerische Forschung, sondern bieten auch einen Raum, um zu testen, wie Bedeutung in komplexen, multimodalen Umgebungen konstruiert wird. Dabei geht es nicht nur um Innovation um ihrer selbst willen, sondern um ein Überdenken der Art und Weise, wie Bedeutung in einer von sich überschneidenden Medien und fragmentierten Aufmerksamkeit gesättigten Welt erzeugt, geteilt und erfahren wird.

Transmediale Komposition verlangt weder, dass das Publikum alle einzelnen Teile eines transmedialen Projekts erfährt, noch dass es zu einer einzigen Lesart gelangt. Stattdessen lädt sie das Publikum zu einem Prozess ein, über den sich Bedeutungen einstellen, in dem die fragmentierte, multiperspektivische Art und Weise widergespiegelt wird, die die Welt, in der wir leben, widerspiegelt.

In diesem Sinne ist die transmediale Komposition nicht nur eine kompositorische Methode, sondern auch eine gesellschaftspolitische Geste. Wie bereits erwähnt, ist transmediales Arbeiten - also die Ausbreitung von Bedeutung über verschiedene Medien hinweg - nicht neu. Ganz im Gegenteil: Seit sich Menschen künstlerisch ausdrücken - durch Rituale, Geschichtenerzählen, Architektur, Musik und Bilder - haben sie dies medienübergreifend getan.

Aber heute, in einer Kultur, die von Fragmentierung, Übersättigung und ungeordneter Aufmerksamkeit geprägt ist, gewinnt die medienübergreifende Komposition neue Relevanz. Sie steht im Einklang mit der Art und Weise, wie wir uns bereits durch Informationen, Wahrnehmung und Erzählungen bewegen, und bietet eine bewusstere, kritischere und fantasievollere Art und Weise, dies zu tun. Deshalb verdient sie es, sowohl künstlerisch als auch theoretisch eingehender erforscht zu werden. Nicht als Innovation, sondern als eine Praxis, die uns schon immer begleitet hat und deren Zeit, vielleicht mehr denn je, gekommen ist.