L’exploration des villes: les médiatisations visuelles entre mouvement et temporalité
Our intervention aims to address the modalities of exploration, data collection and analysis of urbanspace accomplished through different visual and interactive media. It consists of two parts. In the firstpart we want to investigate how artists and scientists have collected visual (and other) data that havebeen used as documents to study the city. We want to compare the strategies of data collection and theenunciative strategies of the resulting visualisations. In the second part, we propose a typology ofvirtual explorations of the city based on media practices implemented via various computer platforms.Virtual reality videos, on the other hand, allow for continuous exploration, organised by a priorstaging, which leaves the angle of vision free in immersion. Finally, digital reproductions of cities -including those of video games and Digital Heritage projects - will complete our typology. Videogames impose an active exploration of urban spaces, transforming it in accordance with a thematicscripting of movement.
application/pdf
1970-7452
1442
31
fr
Maria Giulia Dondero
E|C
L’exploration des villes: les médiatisations visuelles entre mouvement et temporalité
Text.Serial.Journal
https://www.mimesisjournals.com/ojs/index.php/ec
Section 4
2021-09-19
2021-10-08
2021-09-29
2021-10-08
235-246
1
Maria Giulia Dondero
2021/09/19
235
1970-7452
31
246
L’exploration des villes: les médiatisations visuelles entre mouvement et temporalité
https://www.mimesisjournals.com/ojs/index.php/ec/article/download/1442/1161
L’exploration des villes: les médiatisations visuelles entre
mouvement et temporalité1
Enzo D’Armenio, Maria Giulia Dondero


Abstract
Our intervention aims to address the modalities of exploration, data collection and analysis of urban
space accomplished through different visual and interactive media. It consists of two parts. In the first
part we want to investigate how artists and scientists have collected visual (and other) data that have
been used as documents to study the city. We want to compare the strategies of data collection and the
enunciative strategies of the resulting visualisations. In the second part, we propose a typology of
virtual explorations of the city based on media practices implemented via various computer platforms.
Virtual reality videos, on the other hand, allow for continuous exploration, organised by a prior
staging, which leaves the angle of vision free in immersion. Finally, digital reproductions of cities -
including those of video games and Digital Heritage projects - will complete our typology. Video
games impose an active exploration of urban spaces, transforming it in accordance with a thematic
scripting of movement.


Introduction
Notre article vise à aborder les modalités d’exploration, de collecte de données et d’analyse de l’espace
urbain accomplies à travers différents médias visuels et interactifs, de la photographie aux jeux-vidéos.
Ces opérations d’exploration, collecte et analyse peuvent être réutilisées pour des projets artistiques,
scientifiques, d’utilisation pratique et urbanistique ou être intégrées à des activités de loisir.
Notre intervention se compose de deux volets, qui se veulent en continuité et en contraste.
Le premier volet aborde un travail documentaire et artistique d’Edward Ruscha «The Streets of Los
Angeles» qui court de 1965 à 2010 et se propose d’étudier la manière dont des artistes et des
scientifiques ont recueilli des données visuelles (et d’autres sortes de données) qui ont servi ensuite de
documents pour étudier la ville et construire de nouvelles manières de la visualiser et donc de la concevoir.
Lev Manovich a déclaré que cette expérience de Ruscha a été la source d’inspiration de son projet de
2014 ayant pour titre On Broadway. Ce projet a été mené à bien par Manovich en collaboration avec
des artistes et des chercheurs en Computer Vision2, en recueillant plusieurs sortes de données sur l’une
des plus longues artères de New York. Notre premier objectif est de comparer les stratégies de collecte
des données et les stratégies énonciatives des visualisations qui découlent de ces deux expériences assez
avant-gardistes pour leurs époques respectives: celle de Ruscha et celle de Manovich.
Le deuxième volet aborde les explorations virtuelles des villes accomplies grâce aux médias
numériques tels que la réalité virtuelle, la réalité augmentée, les jeux vidéo, Google Maps, et le cinéma
à 360 degrés. L’objectif est de proposer un nouveau critère pour comprendre la signification dans ces
expériences grâce à l’analyse sémiotique des mouvements virtuels.




1  Nous remercions vivement Jean-François Bordron pour la relecture de cet article qui nous a permis de
l’améliorer.
2 Voir Goddemeyer, D., Stefaner, M., Baur, D., Manovich, L. 2014, http://www.on-broadway.nyc.




                E|C Rivista dell’Associazione Italiana di Studi Semiotici, XV, n. 31, 2021 • Mimesis Edizioni, Milano-Udine
                                                                                Web: mimesisjournals.com/ojs/index.php/ec
                                                       ISSN: 1970-7452, ISBN: 9788857583426 © 2021 – MIM EDIZIONI SRL
       This is an open access article distributed under the terms of the Creative Commons Attribution License (CC-BY-4.0).
1. The Streets of Los Angeles et On Broadway
En ce qui concerne l’œuvre d’Edward Ruscha, peintre et photographe américain, le premier moment
du projet The Streets of Los Angeles, qui s’est déroulé dans les années 1960, se consacre à documenter une
partie du Sunset Boulevard, les étapes plus récentes par contre sont consacrées à Hollywood
Boulevard. Le premier moment de ce projet est documenté dans un livre d’artiste qui a comme titre
Every building on the Sunset Strip (Ruscha 1966). Cette nouvelle forme de capture de la ville (rectiligne)
(Fig. 1) et de présentation éditoriale (qui s’ouvre en accordéon – Fig. 2) est particulièrement
innovante3.




Fig. 1 – Ed Ruscha. Every Building on the Sunset Strip, 1966, Self-published book, offset lithograph, 1966 (second
printing 1971). 7 1/8 x 5 3/4 x 3/8 in. The Getty Research Institute. © Ed Ruscha.




Fig. 2 – Ed Ruscha. Every Building on the Sunset Strip, 1966, Self-published book, offset lithograph, 1966 (second
printing 1971). 7 1/8 x 5 3/4 x 3/8 in. The Getty Research Institute. © Ed Ruscha.

Dans son livre Every building on the Sunset Strip, en effet, Ed Ruscha photographie tous les bâtiments qui
se succèdent sur le Sunset Boulevard à partir de Laurel Cyn Boulevard jusqu’à Doheny Drive, en
documentant le côté sud et le côté nord des Boulevards. Les photos ont été prises à l’aide d’une caméra
motorisée montée sur l’arrière d’un pickup (Fig. 3).




3 Il s’agit certes d’un travail de documentation de la ville mais dont le format livre devient une œuvre d’art sur la
ville de Los Angeles, pluri primé d’ailleurs comme livre d’artiste et comme démarche avant-gardiste.

                                                                                                                236
             Fig. 3 – Capture d’écran de la vidéo On Ed Ruscha’s Streets of Los Angeles Archive, Getty – IRIS4.

Le numéro et la fréquence des prises dépendent évidemment du rythme de déplacement de ce pickup.
Chaque seconde une prise était effectuée. On peut s’apercevoir de cette fréquence en observant cette
série de quatre photos d’enseignes et bâtiments, qui exemplifient l’effet-scansion opérée par cette
technique de prise d’images (Fig. 4,5,6,7).5




Fig. 4 et 5 – Ed. Ruscha. Sunset Boulevard, 1966: Strip 336.




Fig. 6 et 7 – Ed Ruscha. Sunset Boulevard, 1966: Strip 336.




4   http://blogs.getty.edu/iris/video-streets-of-los-angeles-by-artist-ed-ruscha-recipient-of-the-2019-getty-medal/
5   https://www.getty.edu/research/collections/component/10000T.

                                                                                                                  237
Le résultat de l’édition est celui d’un face à face de deux séries de bâtiments parallèles, appartenant au
côté sud et au côté nord des Boulevards (Fig. 1). Dans le livre, en effet, les deux côtés du boulevard sont
ramenés sur la même surface bidimensionnelle selon un effet miroir. Dans la visualisation, les deux
côtés ne trouvent jamais un point de croisement: les deux séries de bâtiments face à face continuent à
se développer en parallèle.
La reconstruction de la ville n’est pas faite d’en haut, mais à hauteur humaine, au ras de la rue. Google
Maps nous a habitué à ce genre de hauteur humaine mais ici on est face à la représentation d’une ville
qui se développe exclusivement en ligne droite, de manière rectiligne, selon une aspectualité durative
constante qui n’a rien de naturel et qui ignore les bifurcations, la circulation, les flux des objets et des
personnes, et qui valorise surtout les objets immobiles tels que les bâtiments et les enseignes
commerciales.
Il n’aura échappé à personne que le titre du livre mentionne le terme de «Sunset Strip». Le Sunset
Strip est le nom donné à une section du Sunset Boulevard qui traverse le quartier de West Hollywood.
Le Sunset Strip forme, sur près de 2,5 km, la partie du Sunset Boulevard la plus animée la nuit et aussi
la plus commerciale le jour. En ces mêmes années, et précisément en mars 1968, Robert Venturi et
Denise Scott Brown publiaient l’article à l’origine de l’ouvrage tant débattu Learning from Las Vegas
(1972). Ce livre a révolutionné la manière de penser l’architecture et a valorisé l’architecture
commerciale faite d’enseignes, à savoir une architecture vernaculaire pop qui s’oppose à l’éthique austère de
l’architecture moderne, et qui analyse une ville qui a comme modèle une ligne rectiligne faite
d’enseignes ayant pour nom, justement, The Strip (Fig. 8, 9)6.




        Fig. 8 – Carte de la Strip de Las Vegas montrant chaque mot écrit visible tout au long de la route
                                             (Venturi et Scott, 1972).




6 Ce qui est intéressant est le type d’extraction des données de la ville : extraction qui n’est pas encore faite à
travers le travail des algorithmes mais qui est déjà systématique, mesurée, contrôlée, pourrait-on dire scientifique.

                                                                                                                238
                 Fig. 9 – Vue sur la partie nord de la Strip de Las Vegas (Venturi et Scott 1972).

Ed Ruscha valorise la ville en tant que ligne rectiligne et, en même temps, Venturi et Scott Brown
prennent la Strip de Las Vegas comme parfait corpus pour construire une visualisation «à la Ruscha»
(Fig. 10).




Fig. 10 – La Strip de Las Vegas à la manière de la Los Angeles de Ruscha (Venturi et Scott 1972).

La démarche d’extraction de données dans l’exploration de la ville réalisée par Lev Manovich dans On
Broadway est technologiquement plus avancée et davantage diversifiée que celle d’E. Ruscha mais
plusieurs caractéristiques rapprochent ces deux expériences.
Les données que Manovich a utilisées pour ce projet découlent des vues impersonnelles de Google
View mais aussi des photos partagées par les usagers dans les réseaux sociaux tels qu’Instagram et
Twitter. Concernant notamment Instagram, Manovich et ses collaborateurs ont récolté les photos
produites et échangées tout au long des 21 kilomètres de Broadway qui, en tant que ligne droite,
traversent plusieurs quartiers. Ils ont récolté aussi des données statistiques obtenues à travers
Foursquare7, NYC Taxi, Limousine Commission-TLC, US Census Bureau où sont enregistrés les
revenus des habitants. Cette visualisation présente les données récoltées (Fig. 11).

7 Foursquare est un média social numérique crée à New York en 2009 permettant à l’utilisateur d’indiquer où il
se trouve grâce à un système de géolocalisation et de recommander des lieux de sorties (restaurants, cafés,
magasins). Jusqu’en 2014, l’utilisateur pouvait gagner des points et devenir «maire» des endroits dans lesquels il
était la personne à avoir fait le plus de check-ins (pointages, enregistrements). Depuis 2014, l’application se
transforme en guide urbain interactif.

                                                                                                             239
       Fig. 11 – On Broadway. Data Layers, D. Goddemeyer, M. Stefaner, D. Baur, L. Manovich, 2014.

Chaque type de données compose une strate de la visualisation; ces strates sont en relation de
correspondance:
1. En ce qui concerne Instagram, Manovich utilise les services offerts par Gnip API, à savoir toutes les
images présentes sur Instagram géolocalisées et partagées dans la zone de Broadway du 26 février au 3
août 2014. La base de données contient 10 624 543 images, dont 661 809 proviennent de la zone
sélectionnée de Broadway;
2. Pour ce qui en est de Twitter, le Twitter Data Grant a partagé avec l’équipe de travail de Manovich
tous les tweets associés à des images partagées dans le monde entier de 2011 à 2014. Après avoir filtré
l’ensemble de ces données, Manovich et ses collègues ont exclusivement gardé les tweets partagés tout
au long de la zone sélectionnée pendant la même période pertinente pour Instagram (158 jours en
2014);
3. Foursquare: le média social a fourni des données via son API pendant quelques années et les check-
ins comptés sur Broadway à la période donnée sont notamment au nombre de 8 527 198;
4. la NYC Taxi and Limousine Commission (TLC) a fourni les informations sur le nombre de pickups
et drop-offs des taxis. Après le filtrage utilisant les coordonnées fixées pour la zone de Broadway, la
visualisation a pris en compte 22 millions de voyages (10 077 789 drop-offs et 12 391 809 pickups);
5. l’American Community Survey (ACS) a fourni à l’équipe des indicateurs économiques en rendant
notamment disponible une investigation annuelle d’un échantillon de la population des États-Unis
venant de l’US Census Bureau. Seul l’indicateur économique de la moyenne estimée des revenus de
chaque foyer a été pris en compte dans l’étude.

Pendant l’exploration de cette visualisation tactile que les auteurs effectuent sur le grand écran du
dispositif (Fig. 12), et à mesure que l’on déplace son doigt d’une colonne à l’autre – et que l’on passe
ainsi d’une zone à l’autre de la ville –, on peut apercevoir la correspondance entre différentes données
qui caractérisent une même partie de cette ville et aussi percevoir les profondes différences qui
parcourent les quartiers traversés par l’avenue Broadway.




                                                                                                     240
               Fig. 12 – On Broadway. D. Goddemeyer, M. Stefaner, D. Baur, L. Manovich, 2014.

Ce qui compte n’est pas de (re-)découvrir le fait que Broadway est partagée en deux8, une partie dense
de commerces et d’activités touristiques, l’autre désertée des taxis et des touristes. Ce qui compte le
plus est de pouvoir, en déplaçant son doigt, tout au long des quartiers que rencontre Broadway,
reconstruire des parallélismes entre un certain type de photographies, leurs compositions, les
conditions économiques et sociales qui accompagnent le lieu où ces images ont été prises et/ou
partagées, la densité des services urbains, de types architecturaux, des lieux de rencontre, des revenus
des habitants9.
La visualisation de ces correspondances est possible grâce aux relations de parallélisme qui se tissent
entre les photographies et les autres données affichées sur les autres strates de la surface de la
visualisation. Mais dans le cas de Manovich comme dans celui de Ruscha, même si nous pouvons
repérer des correspondances, nous ne pouvons pas être témoins de croisements car tout court sur des
lignes parallèles: dans le cas de Manovich ces lignes se stratifient.
La ville d’Ed Ruscha est animée par l’explorateur mais il s’agit d’un simulacre de ville immobile et
rectiligne qui ne montre pas les croisements. D’un côté, il s’agit d’un premier pas vers la ville augmentée
car l’exploration est exhaustive, contrôlée et dynamique: Ed Ruscha vise à certifier chaque morceau de
la ville mais, de l’autre côté, elle est diminuée en ce qui concerne ses liaisons et ses réseaux. La ville de
Manovich aussi est augmentée car Manovich met en relation ce qui est visible de la ville et ce qui en
est invisible, ce qui est caché et résulte exclusivement de calculs. D’une certaine manière, Manovich
répond à l’appel de Bruno Latour lancé dans son livre Paris ville invisible (Latour et Hermant 1998) où il
déclare que la ville on ne peut jamais la connaître d’en haut, par des vues panoptiques, mais seulement
à travers ses oligoptiques et leurs déambulations, à travers ses interstices invisibles, ses institutions, les
chaines des médiations. Par «oligoptiques», Latour entend des services fournis par des institutions
diverses telles que l’électricité, la téléphonie, la circulation, la météorologie; en somme, toutes les
infrastructures, les bureaucraties et les pratiques urbaines souterraines. Ces sont les pratiques invisibles
que On Broadway met en scène. En même temps, le prix à payer pour augmenter la ville via ces genres
de données massives est celui de la perdre en tant que réseau. La question est donc la suivante: que
perd-on d’une ville à chaque fois que l’on utilise des données massives pour l’augmenter?




8 Une partie au sein de laquelle les touristes prennent un nombre important de photographies pendant que les
taxis sont grandement sollicités et que la densité urbaine et des restaurants s’affichent à tout promeneur, et une
partie où, au contraire, tout cela se fait plus rare et où, à partir d’Harlem, la moyenne des revenus par foyer
tombe inexorablement. D’ailleurs, cette différence est mise en avant non seulement par des photos qui renvoient
aux deux pôles extrêmes de Broadway, mais aussi par la densité d’affichage des données.
9 Pour des considérations concernant l’économie des quartiers qui longent On Broadway, voir Indaco et

Manovich 2016.

                                                                                                             241
2. Les explorations virtuelles des villes
Dans ce deuxième volet, nous souhaitons proposer une typologie des explorations virtuelles de villes,
c’est-à-dire les explorations accomplies grâce à des médias tels que la réalité virtuelle, la réalité
augmentée, les jeux vidéo, Google Maps, le cinéma à 360 dégrées. Dans un article sémiotique très
récent, écrit par Valentino Catricalà et Ruggero Eugeni (2020), les deux auteurs présentent un
classement de ces technologies à partir des «effets de présence» engendrés. Les critères de classement
concernent l’implication perceptive et narrative du spectateur dans l’énonciation, et les modalités de
présence sensorielle offertes par ces technologies. En simplifiant, la typologie résultante est composée
de quatre formes de média ordonnées selon un degré croissant d’immersion: les médias traditionnels
tels que le cinéma, la vidéo et la télévision, qui ne permettent pas au spectateur de gérer les points
perceptifs ni les développements narratifs; les jeux-vidéos et les textes interactifs non immersifs, où le
spectateur reste face à un écran mais peut participer au déroulement narratif et sensoriel de
l’expérience; les médias qui engendrent une expérience immersive modérée, où le monde réel est
expulsé grâce à l’utilisation d’un casque pour la réalité virtuelle et, par conséquent, la perception dans
le monde diégétique est contrôlable, mais non pas la construction narrative; et enfin les médias
radicalement immersifs, où le spectateur contribue aussi à la construction narrative.
À notre avis, dans toutes ces expériences, il s’agit de prendre en compte trois questions fondamentales:
celle de l’image, celle de l’interaction (perceptive, sensorielle, haptique), ainsi que celle de l’immersion.
En ce qui concerne les images, les propositions théoriques les plus avancées ont mis en premier plan la
qualité spatiale. Ce qu’il y a de commun à ces technologies est qu’elles demandent non pas une lecture,
mais une exploration active, qui les configurent comme des espaces-image, comme l’ont proposé
Pierluigi Basso (2019) et Andrea Pinotti (2017). Il suffit de penser au tourisme virtuel accompli grâce à
la réalité virtuelle ou au cinéma à 360 degrés, ou encore aux reconstructions historiques des villes à
visiter selon une intention didactique.
Les questions de l’immersion et de l’interaction sont plus complexes, car elles prennent en compte le
degré d’intervention de la part du spectateur, en supposant que le degré de sollicitation sensorielle le
plus haut correspond à un degré d’immersion plus important. Or, si ces paramètres nous aident à
classer de manière générale les différentes expériences immersives, elles ne nous donnent pas
suffisamment d’éléments pour comprendre l’articulation interne de leur signification.

3. Le mouvement dans les expériences médiés: un encadrement théorique
Nous proposons de prendre en compte un critère de classement plus simple, mais aussi plus
fondamental: celui du mouvement. Et d’analyser non pas la richesse sensorielle qui caractérise ces
expériences en termes de possibilités d’immersion, mais plutôt les contraintes perceptives et sensori-
motrices. En effet, le mouvement nous semble capable de tenir ensemble l’idée d’une exploration dans
un espace-image et les différents degrés d’immersion achevés à travers une interaction «cinétique».
La sémiotique s’est occupée très peu du mouvement en soi, et elle l’a toujours traité par rapport au
corps (Fontanille 2004) ou aux expériences esthétiques telles que les mouvements perceptifs face aux
sculptures (Saint-Martin 1987). Au contraire, nous voudrions commencer notre réflexion par la
théorisation de Gilles Deleuze sur le cinéma (1983, 1985), en particulier en ce qui concerne la matière
et les substances de l’expression. En décrivant la spécificité médiatique et sémiotique du cinéma,
Deleuze relie de manière indissociable l’image au mouvement: «le cinéma ne nous donne pas une
image à laquelle il ajouterait du mouvement, il nous donne immédiatement une image-mouvement. Il
nous donne bien une coupe, mais une coupe mobile, et non pas une coupe immobile + du mouvement
abstrait» (Deleuze 1983, p. 11).
En isolant ce passage théorique de la pensée de Deleuze sur le cinéma, on pourrait déjà affirmer que
pour comprendre les documents audiovisuels il faut prendre en compte les articulations entre les
qualités de l’image (le système des points de vue, les lectures plastique et figurative) et les qualités du
mouvement (les mouvements dans le plan, entre les plans, les rythmes, tensions, accélérations,
hésitations, etc.). Cette articulation se retrouve dans les explorations virtuelles, même si le mouvement



                                                                                                        242
n’est plus limité aux qualités des images en elles-mêmes, mais s’étend aux contraintes de participation
cinétique soumises au spectateur.
C’est pour cette raison que nous proposons de concevoir les explorations virtuelles comme des
mouvements-image: des sémiotiques qui obéissent à deux syntaxes entrecroisées, la syntaxe visuelle et
la syntaxe cinétique.
Dans une recherche précédente (D’Armenio 2014), nous avons essayé de caractériser l’accès et
l’articulation cinétique dans les expériences de signification des jeux vidéo. Ce travail décrivait l’accès
aux expériences des jeux-vidéo comme la prise de contrôle d’une prothèse numérique de densité
figurative variable (un personnage, un pointeur, des objets etc.), autour de laquelle sont installés un
point de vue, un centre de référence et, surtout, un système de mouvements figé, nécessaire à explorer
les espaces-images. Plutôt que de parler d’interaction de manière générale, d’un procès qui s’active
d’ailleurs dans toute typologie de discours (verbaux, images, vidéos), il serait préférable de partir de
l’engagement dans un mouvement interactif. C’est l’association déjà arrangée entre l’architecture de
l’espace (syntaxe visuelle) et le système des mouvement (syntaxe cinétique) qui gère la forme de
signification activée par les explorations virtuelles.
Voici quelques exemples. Dans la saga de Assassin’s Creed (Fig. 13), et en particulier dans le deuxième
chapitre qui a désormais vieilli – et qui a fait l’objet d’un beau livre de Dario Compagno (2015) – les
espace-images à explorer sont des reproductions des villes de la Renaissance, telles que Florence et
Venise, où se déroule un thriller de conspiration internationale. Cette expérience interactive construit
au moins trois couches de sens: celle organisée par l’espace figuratif, celle du récit audiovisuel avec ses
coups de théâtre, et surtout celle due aux rythmes et aux thématiques du système de mouvement.




                         Fig. 13 – Une capture d’écran du jeu vidéo Assassin’s Creed 2.

Dans ce cas, le thriller de conspiration fournit le fond pour une exploration acrobatique des villes, avec
la possibilité d’escalader les monuments, et de dominer les architectures d’en haut, avec des effets de
vertige produits dans un espace historique. Il s’agit d’une manière très précise et ludique d’habiter les
villes virtuelles, qui configure un arrangement générique mixte entre une narration classique de type
policière et d’espionnage, et une narration pratique proche plutôt du parcours.
Les walking simulator adoptent un système de mouvements interactifs très différent, où il n’est pas
possible de se défendre ou d’attaquer des ennemies, mais seulement d’enquêter sur une situation en
explorant l’espace de manière très attentive, en accord avec un régime contemplatif d’exploration.
Il en résulte une sorte d’arrangement théâtral des événements, où le couplage entre les thématiques
imposées par un système cinétique figé (courir, tirer, marcher, sauter ou simplement marcher,
regarder, investiguer), et l’architecture des villes virtuelles, demeure central pour la signification de ces
expériences.

                                                                                                        243
4. La lecture plastique et figurative du mouvement médié
Le cas des jeux vidéo nous permet d’approcher d’autres typologies de médias immersifs, car ces
derniers se situent à mi-chemin entre des explorations plus abstraites (telles que Google Maps) et les
expériences les plus immersives, telles que les explorations de villes en réalité virtuelle. Notre hypothèse
est que la configuration de base reste la même, c’est-à-dire un couplage entre un espace figuratif
explorable, et un système de mouvement figé, autour desquels s’organisent des expériences
d’exploration à la fois narratives et pratiques.
Par rapport à notre recherche précédente et aux classements déjà proposés par Catricalà et Eugeni, il
est possible de faire un pas de plus et de proposer un encadrement méthodologique de ces expériences,
en adaptant les outils de la sémiotique visuelle et de la sémiotique générale pour l’étude du mouvement
virtuel. Dans les jeux vidéo, le mouvement assume normalement la configuration suivante: d’une part,
on retrouve un mouvement abstrait, sous la forme de contrôles accomplis sur une interface, tels que
haut, bas, droit, gauche, les diagonales, et plus généralement les directions; des boutons qui ne sont pas
trop caractérisés (A, B, X, carré, cercle) et des contrôles qui prévoient une activation graduelle, par
exemple pour simuler l’accélérateur d’une voiture ou le déclencheur d’une arme. D’autre part, dans les
mondes de jeux virtuels, ces mouvements abstraits sont traduits et implémentés en des mouvements
figuratifs et thématiques accomplis par la prothèse (marcher, courir, sauter, tirer, escalader etc.). Bien
évidemment, chaque jeux vidéo organise sa propre syntaxe de mouvement, qui prévoit aussi des
combinaisons particulières de contrôle et des rythmes.
Notre hypothèse méthodologique est que les mouvements abstraits accomplis sur le système de
contrôle constituent la dimension plastique du mouvement, tandis que les implémentations dans le
monde virtuel, constituent la dimension figurative10. Entre ces deux dimensions se réalise une
«articulation diagrammatique», car les qualités rythmiques, aspectuelles et combinatoires des
mouvements plastiques sur l’interface sont normalement arrangées par le système cinétique afin de
construire une correspondance analogisante avec les mouvements figuratifs implémentés dans les
mondes virtuels. On peut constater des correspondances entre les rythmes de l’action. Par exemple,
pour faire courir le personnage numérique, il faut activer la direction correspondante sur l’interface
selon le même rythme, ainsi que des combinaisons de rythmes duratifs et ponctuels (par exemple,
courir et ensuite sauter). En d’autres termes, le diagramme cinétique coordonne le mouvement
plastique du joueur sur l’interface avec l’action figurative et thématique au sein des mondes virtuels.
Les mouvements sont ainsi construits sur une correspondance de forme (de l’expression) capable de
déboucher sur un résultat rythmique incorporé et sur un rythme d’exploration-action. Le récit dû à
l’enchainement des transformations narratives se dédouble ainsi en récit cinétique, afin de construire
des régimes plus ou moins complexes: déambulation contemplative, athlétisme d’épouvante, tourisme
historique.

5. Vers une typologie cinétique des médias immersifs
Une fois identifié cette structure diagrammatique en partant des jeux vidéo, il est possible de retourner
aux médias immersifs, parce que c’est exactement en fonction du rapport entre mouvement plastique
et mouvement figuratif, qu’il est possible de les classer.
On peut partir du cas de Google Maps et Google Street View. Dans ces expériences médiées, la carte
et la reproduction de la ville en 360 degrés sont déjà des diagrammes, c’est-à-dire des images dont les
parties entretiennent un rapport entre elles correspondant à un rapport entre des parties sélectionnées
(iconisées) de la ville. Or, l’accès cinétique accompli à travers l’interface est très abstrait, et il n’en
résulte pas vraiment une visée immersive, mais plutôt une visée cognitive: celle de pouvoir s’orienter et
même dominer le réseau routier de la ville en passant d’un point de vue zénithal à un point de vue plus
proche de l’expérience concrète de visite. L’ensemble des parcours possibles est déjà établi, aussi bien
que la vitesse, mais on peut jouer à expérimenter sur le diagramme de la carte afin de découvrir les

10 Bien évidemment cette distinction est un peu forcée, car un saut dans le monde virtuel ou une manière de
courir, possèdent aussi une dimension plastique, mais on peut affirmer que, par rapport aux mouvements opérés
sur l’interface, nous retrouvons ici une dominante figurative.

                                                                                                        244
réseaux de la ville. La prothèse du mouvement installe un point de vue subjectif (dans Street View),
mais aucune articulation complexe entre mouvements plastiques et figuratifs n’est présente. Il en
résulte un mouvement vectoriel, et une exploration visuelle où la visée cognitive domine, avec un effet
d’immersion cinétique très faible, et sans articulation rythmique et thématique des mouvements.
Dans le cas du cinéma à 360 degrés, le diagramme cinétique concerne seulement le mouvement de la
caméra, qui est contrôlable grâce au mouvement de la tête, via un casque de réalité virtuelle
comportant des capteurs de mouvement11. Le mouvement de la prothèse-personnage est automatisé et
ne prend pas la forme d’une véritable exploration. Le mouvement virtuel, même s’il est limité au point
de vue, est incarné ou plutôt embrayé dans l’interface, c’est-à-dire qu’entre le mouvement virtuel et
celui du spectateur une correspondance partielle s’installe. Il s’agit d’expériences limites, qui ne
peuvent pas être définies comme des explorations spatiales, mais exclusivement «scopiques». Quant à
l’immersion, il s’agit d’une forme d’immersion narrative «classique», qui met le spectateur à la place
d’un personnage ou lui laisse gérer un point de vue abstrait.
La réalité augmentée constitue un cas particulier parce que l’on ne retrouve pas un mouvement
plastique sur une interface qui soit traduit dans une mouvement figuratif virtuel; au contraire, le
mouvement figuratif est autonome — il ne découle pas d’une prothèse contrôlée par le spectateur —,
car il est principalement accompli par un acteur virtuel qui envahit l’espace de l’interface et, à travers
elle, l’espace de la ville. À ce moment-là, s’ouvre une interaction cinétique très réglée et une sorte de
synchronisation entre mouvement plastique et mouvement figuratif. Le cas de Pokemon Go est en ce sens
éclairant, car ce sont les figures virtuelles, en se déplaçant dans la ville, qui initient une interaction à la
fois réelle et virtuelle.
La réalité virtuelle, enfin, promet une correspondance entre les mouvements sur l’interface et les
mouvements figuratifs dans les mondes numériques. Cet effet est obtenu, d’une part, en effaçant la
médiation entre monde concret et monde virtuel. En effet, le casque permet un débrayage complet à
l’intérieur des mondes virtuels, et cache le réel. De cette manière, le monde où se déroulent les
mouvements sur l’interface disparaît, en laissant exclusivement la place au monde et aux mouvements
virtuels. D’autre part, la réalité virtuelle vise un embrayage le plus profond possible, en cherchant à
constituer un seul corps physique et virtuel, précisément à travers les effets de correspondance entre
mouvement plastique et mouvement figuratif. Cette correspondance n’est cependant jamais complète:
l’absence de distinction entre mouvement plastique sur l’interface et mouvement figuratif dans le
monde virtuel, oblige le récit pratique à rester dépendant des possibilités de mouvement du corps réel.

Conclusions
Dans cet article, nous avons proposé un aperçu des différentes manières d’explorer l’espace urbain
grâce aux médias visuels et interactifs. Dans la première partie, nous nous sommes penchés sur le
travail documentaire et artistique d’Edward Ruscha «The Streets of Los Angeles», qui a inspiré
d’autres enquêtes visuelles accomplies avec l’apport des outils informatiques, dont notamment le projet
On Broadway mené par Manovich. Dans la deuxième partie, nous avons proposé un classement des
explorations virtuelles des villes réalisées à l’aide des médias numériques tels que les jeux vidéo, la
réalité virtuelle et augmentée, grâce à l’analyse des mouvements médiés.
La conclusion qu’on peut tirer à partir de cette double enquête est que la visée immersive et la visée
analytique s’opposent de manière nette. D’une part, l’utilisation des données massives et des outils
informatiques d’analyse comporte la perte de la ville en tant que réseau. D’autre part, dans les médias
interactifs, plus l’exploration devient immersive, plus la perte d’abstraction entrave les possibilités de
connaitre cognitivement la ville.




11   À propos du cinéma à 360 degrés, voir Treleani et Aquarelli (2019).

                                                                                                          245
Bibliographie
Basso Fossali, P., 2019, “L’image du devenir: le monde en chiffres et la passion du monitorage”, in Signata [En
          ligne], 10. URL: http://journals.openedition.org/signata/2261.
Biggio, F., Dos Santos, V., Giuliana, G., a cura, 2020, Meaning–Making in extended Reality. Senso e virtualità, Roma,
          Aracne.
Catricalà, V., Eugeni, R., 2020, “Technologically modified self-centred worlds. Modes of presence as effects of
          sense in virtual, augmented, mixed and extended reality”, in F. Biggio, V. Dos Santos, G. Giuliana, a
          cura, pp. 63-90.
Compagno, D., 2015, Dezmond. Una lettura di Assassin's Creed 2, Milano, Unicopli.
D’Armenio, E., 2014, Mondi paralleli. Ripensare l’interattività nei videogiochi, Milano, Unicopli.
Deleuze, G., 1983, L’image-mouvement. Cinéma 1, Paris, Les Éditions de Minuit.
Dondero, M.G., 2009, “Pratiques scientifiques et multimédia: Paris ville invisible de Bruno Latour”, pp. 165-
          177, in: Pignier, dir., De l’expérience multimédia. Usages et pratiques culturelles, Cachan, Hermes/Lavoisier.
Dondero, M.G., 2019, Les visualisations des données urbaines: de Bruno Latour à Lev Manovich, Questions de
          communication, n° 36, 85-99.
Fontanille, J., 2004, Soma et Séma. Figures du corps, Paris, Maisonneuve et Larose.
Goddemeyer, D., Stefaner, M., Baur, D., Manovich, L., 2014, http://www.on-broadway.nyc.
Indaco A., Manovich L., 2016, “Urban Social Media Inequality: Definition, Measurements, and Application”.
          Accès: https://arxiv.org/abs/1607.01845v2.
Latour B., Hermant E., 1998, Paris ville invisible, Paris, Éd. La Découverte.
Pinotti, A., 2017, “Self-Negating Images: Towards An-Iconology”, Proceedings 2017, 1, 856.
Ruscha, E., 1966, Every Building on the Sunset Strip, Self-published book.
Saint-Martin, F., 1987, Sémiologie du langage visuel, Presses de l’Université du Québec.
Treleani, M., Aquarelli, L., 2019, “Notes sur le cinéma en réalité́ virtuelle. Des polarités dialectiques au geste
          énonciatif”, MEI 47, pp. 81-94.




                                                                                                                   246
