Percezione aptica, feedback sonoro e mediazione tecnologica
10.6092/issn.2036-1599/7679
A partire dall’analisi di un caso di studio, l’articolo presenta la creazione di un dispositivo pedagogico e tecnologico basato sull’interazione in tempo reale tra gesto e suono. La ricerca è stata condotta durante i corsi di “Analisi del Movimento” presso l’Università di Nizza ed ha coinvolto diversi studenti iscritti al corso di laurea triennale in danza. Lo studio analizza in particolare come la sonorizzazione del movimento e dell’attività muscolare permette agli studenti di trasferire le informazioni aptiche apprese durante la manipolazione gestuale di un oggetto in qualità somatiche utili alla costruzione di movimenti danzati.
application/pdf
2036-1599
7679
it
Andrea Giomi
Danza e ricerca. Laboratorio di studi, scritture, visioni
Percezione aptica, feedback sonoro e mediazione tecnologica
Text.Serial.Journal
https://danzaericerca.unibo.it/
Studi
2017-12-29
2018-01-08
2017-12-29
2019-11-05
245-272
danzaericerca
Andrea Giomi
2017/12/29
10.6092/issn.2036-1599/7679
245
2036-1599
it
272
Percezione aptica, feedback sonoro e mediazione tecnologica
https://danzaericerca.unibo.it/article/download/7679/7457
                                                Andrea Giomi


  Percezione aptica, feedback sonoro e mediazione
tecnologica. Uno studio fenomenologico sui processi
    d’integrazione multimodale nell’ambito della
                pedagogia della danza


Introduzione: danza e nuove tecnologie

      Negli ultimi trent’anni le tecnologie informatiche hanno assunto un’importanza
straordinaria nell’ambito delle arti, rivoluzionandone sia l’universo semiotico che i pro-
cessi creativi. Tra la seconda metà degli anni ’90 e la prima metà degli anni 2000, l’utilizzo
dei media digitali guadagna un posto di rilievo anche all’interno delle pratiche coreuti-
che tanto da segnalare l’emergere di una vera e propria « scena digitale » 1 . Tele-presenza,
interattività, iper-mediazione, realtà aumentata e virtuale sono solo alcune tra le nuo-
ve forme di esperienza estetica che fanno breccia nell’immaginario comune al volgere
del XX secolo grazie, anche, alle sperimentazioni delle arti performative. Per quanto ri-
guarda l’ambito della danza, un impatto particolarmente importante è stato prodotto
dall’introduzione delle cosiddette tecnologie interattive 2 . Dalle performance multime-
diali dei Troika Ranch e dei Palindrome Intermedia Performance Group ai CD-ROMs
interattivi di William Forsythe, dagli ambienti virtuali di Yacov Shavir ai sistemi audio-
visivi reattivi di Klaus Obermaier, dalle coreograie telematic-based di Susan Kozel alle
installazioni partecipative di Sarah Rubidge, l’impiego di media interattivi ha prodotto
una deterritorializzazione delle pratiche coreutiche in una moltitudine di forme ibride.

      1. Menicacci, Armando - Quinz, Emanuele (a cura di), La scena digitale: nuovi media per la danza,
Bolzano, Marsilio Editore, 2001. Vedi inoltre il capitolo “Digital dancing and software development” in
Dixon, Steve, Digital performance. A history of new media in theater, dance, performance art, and installation,
Cambridge (Mass.), MIT Press, 2007, pp. 183-208.
      2. Per tecnologie interattive, intendiamo quei sistemi informatici in grado di produrre un feedback in
risposta ad un input proveniente dall’ambiente esterno. In danza l’input esterno è spesso costituito dal mo-
vimento del performer, il quale, analizzato in tempo reale grazie ad un sistema di sensori (spesso deiniti con
il termine motion capture), diventa la sorgente per la produzione di suoni, immagini, luci. Per una panora-
mica storica sull’uso delle nuove tecnologie in danza rinvio a Jafré, Olympe, Danse et nouvelles technologies:
enjeux d’une rencontre, Paris, Harmattan, 2007. Per quanto riguarda invece più speciicatamente la questione
dell’interattività legata alla pratica coreutica in relazione ai media digitali vedi «Nouvelles de danse», numero
monograico Interagir avec les technologies numériques, n. 52, 2004.




                                  «Danza e Ricerca. Laboratorio di studi, scritture, visioni», anno IX, numero 9, 2017
                                                                                                 danzaericerca.unibo.it
                                                                                   DOI: 10.6092/issn.2036-1599/7679
246                                                                                                    Andrea Giomi




      Accanto alla creazione artistica in senso stretto, un interesse crescente nell’uso di tec-
nologie interattive ha prodotto, verso l’inizio degli anni 2000, l’emergere di applicazioni
innovative per lo studio del movimento. Due tendenze principali possono essere osservate
in relazione alla danza. Un primo approccio, più computazionale-analitico, si concentra
sullo sviluppo di algoritmi e sistemi di motion capture 3 destinati all’analisi funziona-
le della relazione tra qualità del movimento ed espressività, tanto in ambito coreutico
che musicale 4 . In questo caso, l’analisi statistica delle diverse conigurazioni anatomiche
- ad esempio la relazione reciproca tra le diverse articolazioni del corpo - permette di
produrre dei descrittori di alto livello come la « quantità di movimento » (QoM) o il
grado di contrazione/espansione del corpo 5 . Questi, ed altri descrittori, possono aiutarci
a valutare in termini quantitativi l’espressività del movimento e/o la sua connessione con
alcuni stati afettivi elementari. Un secondo approccio, potremmo dire più fenomenolo-
gico, s’interessa maggiormente al modo in cui un feedback interattivo può indurre una
re-organizzazione del movimento per mezzo della stimolazione sensoriale (suoni, imma-
gini, graica, luci) 6 . In questo caso, la mediazione dell’ambiente tecnologico interattivo

      3. L’espressione motion capture indica una serie di tecniche di acquisizione e rappresentazione del mo-
vimento che si basano sull’utilizzo congiunto sistemi di captazione ottica (spesso telecamere termiche ad
infrarossi), marker luminosi applicati sul corpo del performer e, a volte, sensori di movimento. Le inalità
d’impiego sono piuttosto varie: dal cinema 3D alla creazione artistica, alla ricerca scientiica nell’ambito delle
scienze motorie e della neuro-isiologia, alla riabilitazione, alla robotica. Per un’introduzione di carattere ge-
nerale rinvio a Delbridge, Matt, Motion Capture in Performance. An Introduction, Basingstoke (UK), Palgrave
MacMillan, 2015.
      4. Il lavoro di Antonio Camurri, e del centro di ricerca Casa Paganini dell’Università di Genova, è
stato probabilmente il vero apripista nell’individuare metodologie comuni per l’analisi del gesto espressivo
tanto in danza che in musica. Si veda in proposito: Camurri, Antonio et al. EyesWeb.Toward gesture and afect
recognition in dance/music interactive systems, in «Computer Music Journal», vol. 24, n. 1, 2000, pp. 57-69 e
Id., Multimodal analysis of expressive gesture in music and dance performances, in Human-Computer Interac-
tion, Berlin, Springer Verlag, 2004, pp. 20-39. Si noti, inoltre, che i sistemi di motion capture sviluppati dal
centro (in particolare Eyes Web) hanno trovato impiego sia in termini analitici che come strumento per la
performance interattiva.
      5. Ispirandosi a un tale approccio, diversi studi hanno messo in luce, negli ultimi anni, me-
todologie d’indagine originali sopratutto per ciò che concerne l’analisi del movimento in musica.
A questo proposito si vedano tra gli altri: Naveda, Luis - Leman, Marc, he Spatiotemporal repre-
sentation of dance and music gestures using topological gesture analysis (TGA), in «Music Perception»,
vol. 28, n. 1, 2010, pp. 93–111; Maes, Pieter-Jan et al., he conducting master: an interactive, real-
time gesture monitoring system based on spatiotemporal motion templates, in «International Journal of
Human-Computer Interaction», vol. 29, n. 7, 2013, pp. 471-487; Visi, Federico et al., A practice-
based study on instrumental gestures in music composition and performance: Kineslimina, in Bevilacqua,
Frédéric et al. (a cura di), MuSA 2015 - Sixth International Symposium on Music/Sonic Art: Practices
and heories, Karlsruhe, Germany, 2015, www.researchgate.net/publication/310806568_A_practice-
based_study_on_instrumental_gestures_in_music_composition_and_performance_Kineslimina                        (u.v
27/12/2017).
      6. Cfr. Menicacci, Armando - Quinz, Emanuele, Étendre la perception? Transferts intermodaux et bio-
feedback en danse, in «Nouvelles de danse», numero monograico Scientiiquement danse. Quand la danse puise
aux sciences et réciproquement, n. 53, 2006, pp. 76-96; Broadhurst, Susan, Intelligence, interaction, reaction,
and performance, in Broadhurst, Susan - Machon, Josephine (a cura di), Performance and technology. Practices
of virtual embodiment and interactivity, Basingstoke (UK), Palgrave Macmillan, 2006, pp. 141-152; Santana,
Percezione aptica, feedback sonoro e mediazione tecnologica                                                    247




agisce secondo dei meccanismi di estensione e di intensiicazione sensoriale dell’anatomia
corporea favorendo l’emergere di nuove possibilità di proiezione e di igurazione del movi-
mento. In altri termini, la trasformazione di aspetti impercettibili del movimento in forme
sonore o luminose permette al performer di sperimentare modalità inedite di costruzione
del gesto e di organizzazione percettiva dello spazio 7 .


Pedagogia del movimento, mediazione tecnologica ed interazio-
ne sonora
        Parallelamente, un numero crescente di studi ha iniziato ad indagare in maniera si-
stematica l’impiego delle tecnologie digitali nell’ambito della pedagogia della danza 8 . In
quest’ambito un ruolo predominante lo hanno avuto inizialmente i software per la com-
posizione coreograica assistita dal computer, come Life Forms 9 . Durante gli anni 2000
un numero abbastanza esteso di strumenti e di pratiche si è difuso coinvolgendo ambiti
di applicazione eterogenei: e-learning tramite utilizzo di supporti multimediali, sviluppo

Ivani, Experiences and relections about presence and memory in dance with technological mediation through the
situated cognition approach, in «Revista Mapa D2 - Dança e (performance) digital», vol. 3, n. 2, 2016, pp.
11-26. Benché non utilizzi feedback in tempo reale, anche il lavoro con le nuove tecnologie di William For-
sythe può essere inserito in una prospettiva analoga. Si veda Forsythe, William. Improvisational Technologies:
A Tool for the Analytical Dance Eye, Karlsruhe, ZKM, 1999. In questo lavoro pedagogico-analitico le linee
graiche utilizzate per accompagnare i movimenti del danzatore servono infatti ad individuare le traiettorie
del gesto e gli elementi architetturali che sono alla base della pratica coreograica di Forsythe. In questo senso
il feedback visivo può essere usato come base per ripensare l’organizzazione del movimento nello spazio.
      7. Come nota Enrico Pitozzi: « Le tecnologie intervengono quindi direttamente sul corpo del performer
rideinendo la sua organizzazione sensoriale […] ». Pertanto « il performer si trova davanti una biforcazio-
ne : concentrare la sua attenzione sul solo livello “propriocettivo” […] o canalizzare l’attenzione sul livello
“esterocettivo”, informazioni esterne sotto forma sonora o visuale. Questi segnali di ritorno verso il corpo
dell’interprete (biofeedback) gli restituiscono una dimensione sensoriale complessa, utile per elaborare un
nuovo progetto di movimento » (Pitozzi, Enrico, De la constitution du corps de synthèse sur la scène perfor-
mative. Perception et technologies, in Bourassa, Renée - Poissant, Louise (a cura di), Personnage virtuel et corps
performatif. Efets de présence, Montréal, Presses de l’Université du Québec, 2013, p. 219). Traduzione mia.
      8. Per una panoramica generale sull’utilizzo pedagogico delle tecnologie in danza rinvio a Parrish, Mi-
la, Technology in Dance Education, in Bresler, Liora (a cura di), International Handbook of Research in Arts
Education, Cham (Switzerland), Springer International, 2007, pp. 1381-1397 e Dania, Aspasia et al., he
use of technology in movement and dance education: recent practices and future perspectives, in Procedia Social
and Behavioral Sciences, 2011, pp. 3355–3361.
      9. Life Forms è un software sviluppato verso la ine degli anni ‘80 grazie alla collaborazione, tra gli
altri di Merce Cunningham, che ne farà uno uso esteso in lavori come Tracker (1991), Enter (1992), CR-
WDSPCR (1993), Ocean (1994), e sopratutto BIPED (1999). Si veda in proposito Copeland, Roger, Merce
Cunningham. he modernizing of Modern Dance, London-New York, Routledge, 2004, pp. 168-185. Il soft-
ware permette di simulare delle sequenze di movimento attraverso il supporto di igure animate. L’apporto
innovativo di Life Forms consiste nella possibilità di comporre un movimento a partire dall’astrazione delle
componenti analitiche che articolano il gesto danzato. A partire dalla ine degli anni ‘90 esso trova un impiego
sempre più signiicativo anche in ambito prettamente pedagogico. Vedi in proposito Menicacci, Armando,
L’enseignement de la danse face au numérique, in «Nouvelles de danse», numero monograico Danse et nou-
velles technologies, n. 40/41, 1999, pp. 55-64. Tra i software più recenti possiamo inoltre citare he Dance
Designer, Wholodance, he Choreographer’s Notebook, Multimodal Video Annotator e DanceForms.
248                                                                                                     Andrea Giomi




di software per l’analisi coreograica e l’annotazione video, conservazione e trasmissione
di repertori tradizionali, approccio multimodale all’insegnamento del movimento 10 .

      Per quanto riguarda più nello speciico l’impiego di tecnologie interattive, occorre
notare il ruolo determinante dei media sonori. L’interazione in tempo reale tra danza e
musica è particolarmente signiicativa sotto due aspetti : la reciprocità in termini tecno-
logici e la reciprocità in termini epistemologici. Come in parte già accennato 11 , tanto la
performance di danza che quella musicale impiegano spesso i medesimi sistemi interattivi
e/o di motion capture 12 . Tale fenomeno presenta due conseguenze importanti. Da un
lato, come afermato spesso da Robert Wechsler, le tecnologie interattive permettono di
invertire il tradizionale rapporto di dipendenza tra musica e movimento coreutico, per-
mettendo al danzatore di assumere, almeno in una certa misura, il ruolo di musicista 13 .
Dall’altro, l’uso di sensori di movimento ofre al musicista-performer la possibilità di
valorizzare, sotto forma sonora, la qualità espressiva del gesto. Sopratutto per quanto ri-
guarda le pratiche ibride strumento+sensori 14 , l’impiego di sistemi interattivi di motion
capture permette di sonorizzare quei movimenti che, benché costituiscano un tutt’uno
col gesto strumentale non sono diretti alla produzione meccanica del suono. L’uso espres-
sivo del corpo da parte del musicista lo avvicina in qualche modo al danzatore 15 . Un

     10. Cfr. Parrish, Mila, Integrating technology into the teaching and learning of dance, in «Journal for the
National Dance Education Organization», n. 1, 2001, pp. 20–25; Cherry, Gina et al., Using a digital video
annotation tool to teach dance composition, in «Interactive Multimedia Journal of Computer. Enhanced Lear-
ning», n. 5, 2003, imej.wfu.edu/articles/2003/1/01/index.asp; Risner, Doug - Anderson, Jon, Digital Dance
Literacy: an integrated dance technology curriculum pilot project 1 e Karkou, Vicky et al., Traditional dance,
pedagogy and technology: an overview of the WebDANCE project, in «Research in Dance Education», vol. 9,
n. 2, 2008, pp. 113-128 e 163-186. Si veda inoltre il più generale Eversman, Peter, Education-Performing
arts-Information technology: an impossible triangle?, in Nesi, Paolo - Santucci, Rafaella (a cura di), Information
technologies for performing arts, media access, and entertainment, Berlin, Springer-Verlag, 2013, pp. 175-191.
     11. Cfr. infra, nota 4.
     12. A questo proposito, mi pare opportuno citare il lavoro intrapreso dal gruppo di ricerca guidato
da Frédéric Bevilacqua presso l’IRCAM che, a partire dal 2007, porta avanti un progetto interdisciplinare
inalizzato allo sviluppo di strumenti informatici per l’analisi gestuale. Il sistema di analisi chiamato gesture
follower, è stato concepito come uno strumento luido che è possibile impiegare tanto nel contesto della
performance di danza interattiva quanto in quello di un quartetto d’archi “aumentato”. Si vedano a riguardo
Bevilacqua, Frédéric et al., Gesture capture: paradigms in interactive music/dance systems, in Klein, Gabriele
- Noeth, Sandra (a cura di), Emerging bodies. he performance of worldmaking in dance and choreography,
Bielefeld (Deutschland), Transcript Verlag, 2011, pp. 183-193; Bevilacqua, Frédéric et al., he augmented
string quartet: experiments and gesture following, in «Journal of New Music Research», vol. 41, n. 1, 2012, pp.
103-119.
     13. Cfr. Wechsler, Robert, Les ordinateurs et la danse: retour vers l’avenir?, in «Nouvelles de danse»,
numero monograico Danse et nouvelles technologies, cit., pp. 144-159.
     14. Mi riferisco in particolare ai cosiddetti iper-strumenti. Il termine, coniato per la prima volta da
Tod Machover, indica la possibilità di “aumentare” gli strumenti tradizionali con l’aggiunta di sensori Cfr.
Machover, Tod, Hyperinstruments: a progress report 1987-1991, Cambridge (Mass.), MIT Press, 1992. Si
veda inoltre Miranda, Eduardo R. - Wanderley, Marcelo M., New digital musical instruments: control and
interaction beyond the keyboard, Middleton (WI), A-R Editions, 2006, pp. 19-29. Vedi anche infra, nota 12.
     15. Federico Visi parla a questo proposito di « emergent choreography » (Visi, Federico et al., Musical
Percezione aptica, feedback sonoro e mediazione tecnologica                                                  249




secondo aspetto riguarda la deriva di modelli epistemologici da un ambito all’altro. La
mediazione tecnologica ha permesso infatti di introdurre elementi teorici legati alla stu-
dio del movimento in danza all’interno della rilessione musicologica. Basti citare a titolo
esempliicativo l’introduzione, in anni recenti, di modelli ispirati alla teoria labaniana
dell’efort come strumento di analisi in ambito musicale in relazione all’uso di sistemi di
motion tracking. 16 . Al contempo, le tecnologie interattive hanno permesso, sempre in
ambito musicale, di approfondire il legame, spesso oscurato, con la dimensione corporea.
Con l’afermazione, negli ultimi dieci anni, della embodied music cognition theory 17 , lo
studio della performance musicale ha portato un contributo quantomai signiicativo alla
rilessione sul legame tra percezione e movimento. Secondo la teoria, il gesto (ma più in
generale il corpo in quanto sorgente di movimenti tanto volontari quanto involontari) è
il vero mediatore tra l’esperienza soggettiva della musica (la rappresentazione mentale o
la sensazione interna prodotta dal suono) e l’ambiente (la musica come come fenomeno
isico e come sistema comportamentale culturalmente mediato). L’esperienza musicale
è pertanto un’esperienza innanzitutto incorporata. Le sue caratteristiche sono la natura
multisensoriale e la reciprocità di azione e percezione. Il primo aspetto riguarda il fatto
che l’esperienza musicale non è costituita unicamente da sensazioni auditive ma in egual
misura da stimoli visivi, senso del movimento e sensazioni tattili. La seconda questio-
ne fa riferimento alla natura simultaneamente attiva e passiva della percezione musicale.
Coinvolgendo l’attivazione del nostro sistema muscolare e producendo una risposta nel
nostro apparato sensomotorio, l’esperienza sonora non è mai (o lo è raramente) una forma
semplicemente passiva di ascolto.

        Una concezione sostanzialmente incorporata e multisensoriale dell’esperienza può
non solo aiutare a comprendere il fenomeno musicale e il movimento, ma inspirare tan-
to le strategie di mapping quanto la concezione delle interfacce 18 . A questo proposito,
diverse ricerche si sono sviluppate negli ultimi anni integrando tanto l’aspetto analitico

instruments, body movement, space, and motion data: music as an emergent multimodal choreography, in «Human
Technology: An Interdisciplinary Journal on Humans in ICT Environments», vol. 13, n. 1, 2017, pp. 58-81.
    16. Si veda, tra gli altri, Maes, Pieter-Jan et al., he coupling of action and perception in musical meaning
formation, in «Music Perception», vol. 32, n. 1, 2014, pp. 67–84; Alaoui, Sarah F. et al., Seeing, sensing
and recognizing Laban movement qualities, in Proceedings of the 2017 CHI Conference on Human Factors in
Computing Systems, Denver, 2017, pp. 4009-4020.
    17. Leman, Marc, Embodied music cognition and mediation technology, Cambridge (Massachusetts),
MIT Press, 2008.
    18. Per mapping s’intendono l’insieme di procedure utilizzate per collegare l’input registrato per mezzo
dei sensori all’output prodotto digitalmente (suono, immagine, luci). Esso è il cuore del design interattivo in
quanto deinisce il tipo di dialogo che vogliamo stabile con l’ambiente tecnologico. Riguardo l’importanza
del mapping in ambito musicale si veda Wanderley, Marcelo et al., he importance of Parameter Mapping in
Electronic Instrument Design, in «Journal of New Music Research», vol. 32, n. 4, 2003, pp. 88–93.
250                                                                                                     Andrea Giomi




quanto quello della creazione artistica 19 . In una direzione analoga, alcuni studi hanno
cominciato negli ultimi dieci anni a studiare l’interazione movimento-suono-mediazione
tecnologica anche in ambiti non legati alla pratica professionale. A questo riguardo di-
verse ricerche hanno sperimentato l’utilizzo di sistemi interattivi musicali come mezzo
per stimolare la creatività motoria spontanea e l’implicazione corporea nei bambini 20 .
Recentemente, alcuni lavori sono emersi anche nell’ambito della terapia e della riabili-
tazione per valutare l’apporto del musica e della mediazione tecnologica interattiva per
persone con disabilità motorie e/o psichiche 21 . Tutte queste ricerche dimostrano come,
sollecitando l’implicazione attiva nei processi sonori per mezzo della mediazione tecno-
logica, è possibile favorire una presa di coscienza dei processi isiologici che sono alla base
del movimento.

      Secondo una tale prospettiva la mediazione tecnologica può conigurarsi come un
mezzo importante per incentivare il coinvolgimento corporeo con la musica. In que-
sto senso, occorre notare anche in ambito artistico un slittamento estetico signiicativo.
In contrasto con le prime forme di new media art, che celebravano l’immaterialità del
virtuale 22 , le arti performative contemporanee sembrano sempre di più riconsiderare
l’importanza della partecipazione isica anche in ambito digitale. Nei lavori coreograi-

     19. Si vedano, tra gli altri, Jensenius, Alexander R., An action-sound approach to teaching interactive mu-
sic, in «Organised Sound», vol. 18, n. 2, 2013, pp. 178-189; Visi, Federico et al., Gesture in performance with
traditional musical instruments and electronics: Use of embodied music cognition and multimodal motion capture
to design gestural mapping strategies, in Bevilacqua, Frédéric et al. (a cura di), MOCO ’14: Proceedings of the
2014 International Workshop on Movement and Computing, Paris, ACM, 2014; Donnarumma, Marco, Con-
iguring corporeality. Performing bodies, vibrations and new musical instruments, PhD thesis, Goldsmiths,
University of London, 2016.
     20. Si veda in proposito Källblad, Anna et al., Hoppsa Universum. An interactive dance installation for chil-
dren, in Proceedings of New Interfaces for Musical Expression, Genova, 2017, 2008, pp. 128-133; Addessi, Anna
Rita et al., he MIROR platform for young children’s music and dance creativity: Relexive interaction meets body-
gesture, embodied cognition and Laban educational dance, in «Perspectives. Journal of Early Childhood Music
& Movement Association», vol. 10, n. 1, 2015, pp. 9-17; Frid, Emma et al., Interactive soniication of sponta-
neous movement of children - Cross-modal mapping and the perception of body movement qualities through sound,
in «Frontiers in Neuroscience», vol. 10, n. 521, 2016, www.ncbi.nlm.nih.gov/pmc/articles/PMC5104747/.
     21. Stensæth, Karen. Potentials and challenges in interactive and musical collaborations involving children
with disparate disabilities. A comparigion study of how Petronella, with Down syndrome, and Dylan, with autism,
interact with musical and interactive tangible ‘WAVE’, in Stensæth, Karen (a cura di), Music, health, technolo-
gy and design, Oslo, NMH-publications, 2014, pp. 97-118; Gehlhaar, Rolf et al., Instruments for everyone :
designing new means of musical expression for disabled creators, in Brooks, Anthony L. et al. (a cura di.), Tech-
nologies of inclusive well-being. Serious game, alternatives realities and play therapy, New York, Springer, 2014,
pp. 167-198; Bergsland, Andreas - Wechsler, Robert. Turning movement into music. Issues and applications
of the MotionComposer, a therapeutic device for persons with diferent abilities, in «SoundEfects. An Interdi-
sciplinary Journal of Sound and Sound Experience», numero speciale Sound and Listening in Healthcare and
herapy, vol. 5, n. 1, 2016, pp. 24-47.
     22. Come sottolineato da Frances Dyson, la retorica delle arti digitali, sopratutto durante gli anni ‘90,
si è articolata attorno ad una sorta di mitizzazione del concetto di virtuale, spesso idealizzato sotto forma
di immateriale, eimero o sublime tecnologico. Cfr. Dyson, Frances, Sounding new media. Immersion and
embodiment in the arts and culture. Berkeley-Los Angeles, University of California Press, 2009, pp. 1-18.
Percezione aptica, feedback sonoro e mediazione tecnologica                                              251




ci di Cindy Van Acker, Ginette Laurin, Isabelle Choinière e Wayne McGregor, l’uso del
suono e delle tecnologie interattive sembra rinviare ai processi isiologici che sono alla
base della costruzione del movimento 23 . Il feedback in tempo reale ha qui innanzitutto
lo scopo di stimolare nuove possibilità d’azione e di igurazione : grazie all’interattività
sonora, il performer ripensa i limiti anatomici del proprio corpo alimentando così quella
dimensione “virtuale” che struttura l’organizzazione percettiva del movimento 24 .


Contesto e metodologia della ricerca
        All’interno di questo rinnovato scenario epistemologico e sperimentale, vorrei pro-
porre alcune considerazioni attorno alla relazione gesto-suono in riferimento ad un’indagi-
ne di carattere pratico. L’esperienza presentata è parte di un progetto di ricerca sulle nuove
tecnologie e la pedagogia della danza intitolato “Corps sonore. Applications interactives
pour l’analyse du mouvement et la recherche pédagogique”. Il progetto è stato sviluppa-
to in collaborazione con Federica Fratagnoli, docente presso l’Università Côte d’Azur di
Nizza. La ricerca ha coinvolto due classi del corso di laurea triennale in Arti Performative,
specialità Danza, durante il biennio 2015-2017. L’obiettivo principale della ricerca era
di studiare in che modo l’utilizzo di feedback sonori interattivi può indurre una presa
di consapevolezza del gesto interrogando l’organizzazione percettiva e immaginativa del
movimento. A questo scopo, è stata sviluppata una serie di applicazioni sonore interat-
tive basate sull’uso di diferenti tecnologie di rilevamento (captazione ottica, sensori di
movimento e tecniche di analisi di bio-feedback). Diversi esercizi sono stati proposti agli
studenti al ine di sperimentare direttamente attraverso la pratica alcune tematiche già
afrontate a livello teorico, come la natura multimodale della percezione, la coscienza del
gesto e le sue radici propriocettive o la relazione allocentrica tra corpo e spazio.
        Dal punto di vista del dispositivo pedagogico, abbiamo organizzato la struttura de-
gli esercizi di modo da valutare l’apporto del feedback sonoro all’interno del processo di
costruzione del gesto. Le esperienze proposte sono liberamente ispirate ad alcune pratiche
somatiche tipiche dell’analisi del movimento in danza 25 . In particolare, abbiamo riadat-
tato la struttura tipicamente tripartita di tali pratiche ai nostri scopi. In genere, l’esercizio

     23. Cfr. Pitozzi, Enrico, Body soundscape. Perception, movement and audiovisual developments in contem-
porary dance, in Kaduri, Yael (a cura di), he Oxford Handbook of Music, Sound and Image in the Fine Arts,
New York, Oxford University Press, 2016, pp. 256-288. Sempre dello stesso autore, si veda inoltre Dissec-
tio: anatomie del corpo sonoro, in Valentini, Valentina (a cura di), Drammaturgie sonore. Teatri del secondo
Novecento, Roma, Bulzoni Editore, 2012, pp. 285-314.
     24. Rinvio in proposito alla nozione di simulazione o « iction » elaborata da Michel Bernard in De la
création chorégraphique, Pantin, Centre National de la Danse, 2001.
     25. Per un’introduzione al rapporto tra analisi del movimento, pratiche somatiche e pedagogia rimando
252                                                                                                   Andrea Giomi




inizia con delle indicazioni verbali che invitano lo studente ad esplorare un certo mo-
vimento nello spazio. In seguito, una seconda esperienza è proposta al ine d’introdurre
nuove informazioni sensoriali e/o cinestesiche. Inine, gli studenti tornano sul movimen-
to iniziale cercando d’integrare i nuovi elementi percettivi scoperti durante la seconda fase
dell’esercizio. Qui, una nuova organizzazione senso-motoria dovrebbe emergere. Come
vedremo nel dettaglio più avanti, i sensori di movimento sono introdotti solo a parti-
re dalla seconda parte della sperimentazione. Una tale scelta metodologica permette di
valutare in che misura il feedback sonoro informa il movimento.

      Dal un punto di vista dell’analisi, si è scelto inoltre di valutare le esperienze pro-
poste secondo un approccio puramente qualitativo e fenomenologico 26 . Questa scel-
ta è motivata dalla necessità di mettere particolarmente in rilievo la qualità soggettiva
dell’esperienza. La raccolta dati è stata realizzata attraverso la combinazione di quattro
metodi: 1. Osservazione partecipante; 2. Osservazione a distanza (analisi della docu-
mentazione audiovisiva prodotta durante le sessioni); 3. Focus group con gli studenti
dopo ogni sessione; 4. Annotazioni da parte degli studenti, sotto forma di “diario di
bordo”. Quest’ultimo strumento riveste un’importanza particolare all’interno dell’analisi
dell’esperienza. Le studentesse che hanno partecipato allo studio sono state invitate a re-
digere un “diario” sul quale annotare le sensazioni esperite e le rilessioni “a freddo” sugli
esercizi proposti.




Conigurazione tecnica dei dispositivi

      Lo studio che propongo in quest’articolo ha per oggetto l’analisi della relazione tra
sensorialità aptica e movimento mediata tramite l’uso di feedback sonori. Lo scopo della
sperimentazione è di analizzare in che modo la connessione multimodale tra feedback
aptici e acustici può divenire oggetto di incorporazione tramite il movimento. In secondo
luogo, ci interessa valutare in che termini la valorizzazione immaginativa svolge un ruolo
all’interno d’un tale processo.

a Ginot, Isabelle, Discours, techniques du corps et technocorps, in Giofredi, Paule (a cura di), A la rencontre
de la danse contemporaine: porosités et résistances, Paris, L’Harmattan, 2009, pp. 265-293; Vieira, Marcilio S.,
Approches somatiques du corps dans la danse, in «Revista Brasileira de Estudos da Presença», vol. 5, n. 1, 2015,
pp. 127-147.
    26. Van Dyk, Katharina, Usages de la phénoménologie dans les études en danse, in «Recherches en danse», n.
1, 2014, danse.revues.org/607. Per ciò che concerne l’utilizzo delle nuovo tecnologie vedi anche l’approccio
proposto in Friz, Vivian, Danse et nouvelles technologies vers d’inédites écriture chorégraphique, hèse de
Doctorat en Arts du Spectacle mention Danse, Université de Strasbourg, 2015.
Percezione aptica, feedback sonoro e mediazione tecnologica                                                   253




        Il punto di partenza dell’esercizio è la manipolazione di un oggetto. A questo riguar-
do sono state realizzate delle applicazioni interattive speciiche in MaxMsp 27 inalizzate
alla sonorizzazione di alcuni movimenti legati al gesto del manipolare. Il sistema interat-
tivo sviluppato si basa sull’utilizzo di due interfacce : un Hot Hands MIDI controller ed
un Myo Armband. L’Hot hand è un’interfaccia MIDI che permette il controllo continuo
dei parametri musicali tramite l’uso di un accelerometro triassiale. La natura ergonomica
dell’interfaccia permette di indossarlo come un normale anello, fornendo così dati sul
movimento continuo della dita della mano (Fig. 1). Nello speciico, è possibile acquisire
informazioni sulla rotazione del sensore lungo i tre assi (x, y, z) all’interno di un range
di 180o . Il Myo armand è un’interfaccia a forma di bracciale che è possibile indossare
sul bicipite o sull’avambraccio (Fig. 2). Si tratta di un dispositivo abbastanza soisticato
contenente un’unita IMU-MARG 28 e otto sensori elettromiograici. In questo esercizio
sono stai utilizzati solo i sensori EMG. EMG è l’acronimo di elettromiograia. Si trat-
ta di una tecnica per l’analisi di bio-segnali, normalmente utilizzata per scopi medici,
che permette di registrare l’attività elettrica dei muscoli scheletrici. Occorre precisare che
tali sensori non misurano direttamente la contrazione meccanica del muscolo, bensì il
suo metabolismo elettrico. In altri termini, il segnale EMG fornisce delle informazioni
relative all’attività dei moto-neuroni coinvolti nell’attivazione del muscolo 29 . Un algorit-
mo speciico è stato realizzato al ine di ottenere informazioni non solo sulla contrazione
muscolare del braccio ma anche sulle variazioni elettriche più ini prodotte da piccoli
movimenti della mano.
        Lo scopo didattico del sistema interattivo è di arricchire sensorialmente l’esperienza
aptica per mezzo dei feedback acustici. In questo senso, l’interazione sonora non è con-
cepita in termini strumentali. Il suono ha qui la funzione di informare l’interattore 30 (in

     27. Max è il più famoso linguaggio di programmazione visuale per la creazione di ambienti interattivi per
la musica, la performance ed installazioni multimediali. Un’enfasi particolare è data, in Max, alla generazione
in tempo reale dei contenuti audiovisivi. Cfr. Lechner, Patrik, Multimedia Programming Using Max/MSP and
TouchDesigner, Birmingham, Packt Publishing, 2014.
     28. Le unità di misura inerziali (IMU) sono dei dispositivi portatili a basso costo che sfruttano l’utilizzo
di accelerometri e giroscopi. Quando questi dispositivi sono accoppiati con dei magnetometri, le IMU
sono noti anche come sensori magnetici, angolari e gravitazionali (MARG). Sono ampiamente utilizzati
nell’aviazione, nella robotica e nell’interazione uomo-macchina (HCI). La loro accessibilità e le dimensioni
ridotte li rendono un elemento molto comune nei dispositivi portatili (come smartphones e tablets) e in
altri prodotti di elettronica di consumo. Essi consentono di misurare diverse funzioni di movimento, tra cui
l’orientamento tridimensionale ottimizzato ottenuto combinando i dati dei diversi tipi di sensori. Questi
dispositivi sono spesso commercializzati sotto forma di sensori 9DoF (9 gradi di libertà) in quanto sono
costituiti da tre sensori triassiali i quali forniscono quindi un totale di nove assi sensibili.
     29. Cfr. Farina, Dario et al., he Extraction of Neural Information from the Surface EMG for the Control
of Upper-LimbProstheses: Emerging Avenues and Challenges, in «IEEE transactions on neural systems and
rehabilitation engineering», vol. 22, n. 4, 2014, pp. 797-801.
     30. Uso qui la traslitterazione del temine inglese interactor, il quale identiica la natura simultaneamente
254                                                                                                     Andrea Giomi




questo caso lo studente) sulla qualità del suo movimento tramite un processo udibile. Per
questo motivo occorre che l’interazione sia suicientemente “trasparente” ovvero intel-
legibile e, in qualche modo, naturale 31 . Al ine di facilitare l’incorporazione spontanea
dei feedback acustici, due elementi sono stati presi in considerazione: l’interdipendenza
dei parametri d’interazione e la qualità materica del design sonoro. Una certa interdi-
pendenza dei parametri musicali dovrebbe rendere l’interazione più naturale in quanto
prende a modello l’interconnesione dei nostri ricettori sensoriali. Come è noto, funzioni
elementari della isiologia umana, come ad esempio il senso d’equilibrio, sono infatti il
risultato d’un complesso sistema d’interdipendenze 32 . Analogamente, nell’applicazione
interattiva sviluppata, i parametri musicali sono interconnessi a un “livello basso” in mo-
do da produrre una risposta abbastanza varia alle diverse sfumature del movimento. Le
tre rotazioni della mano permettono di realizzare un morphing 33 tra tre diversi samples.
Ogni rotazione è collegata alle altre producendo così l’impressione di una totale interdi-
pendenza. La contrazione muscolare controlla due iltri audio (un iltro passa-basso e un
iltro risonante), permettendo così di produrre delle variazioni timbriche a un livello più
alto. Il rilassamento semi-totale del muscolo è individuato dall’algoritmo come macro-
parametro per ottenere il silenzio. L’algoritmo sfrutta quindi un’analogia percettiva assai
intuitiva : l’attività muscolare produce suono, le rotazioni della mano ne determinano
le variazioni interne e l’assenza di attività muscolare corrisponde al silenzio. Basando-
si sull’azione congiunta dell’attività isotonica (contrazione senza movimento) e di quel-
la isometrica (movimento senza contrazione muscolare signiicativa), il sistema fornisce
quindi un controllo multimodale del suono.
      Dal punto di vista del design sonoro, i samples audio sono stati composti allo scopo
di evocare una tattilità dell’esperienza acustica. Questa strategia ha lo scopo di stimolare
l’emergenza di connessioni intermodali in seno all’esperienza percettiva. A tal ine, sono
stati utilizzati due suoni elettronici (creati attraverso sintesi additiva) e un suono elettroa-
custico, abbastanza predominante, realizzato registrando e processando diverse forme di

attiva e passiva dell’utente nel contesto interattivo.
    31. La questione della “trasparenza” dell’interfaccia è uno dei temi chiavi all’interno del dibattito sui
media digitali. In termini pragmatici essa rinvia alla “usabilità” del device, ovvero il grado di facilità e sod-
disfazione con cui si compie l’interazione tra uomo e medium (console, leva del cambio, interfaccia graica,
ecc.). Esso costituisce d’altronde uno dei criteri principali che il designer di device digitali o di applicazioni
interattive tiene di conto in fase di progettazione. Si veda, tra gli altri, Bolter, Jay D. - Gromala, Diane, Win-
dows and Mirrors. Interaction design, digital art, and the myth of transparency, Cambridge (Massachusetts),
MIT Press, 2003.
    32. Cfr. Berthoz, Alain, Le sens du mouvement, Paris, Odile Jacob, 1997. Si vedano in particolare le
pagine dedicate all’analisi del sistema vestibolare: pp. 50-70.
    33. Il morphing è un procedimento digitale che permette di trasformare una sorgente sonora in un’altra.
A questo proposito ho “disegnato” una patch speciica in MaxMsp utilizzando la tecnica della FFTT.
Percezione aptica, feedback sonoro e mediazione tecnologica                                             255




crepitio (foglie secche, carta stropicciata). Le sonorità sono state trattate tramite un algo-
ritmo di sintesi granulare di modo da ridurre il richiamo alla sorgente sonora utilizzata
(il suono originale) favorendo così l’emergenza di un ascolto puramente acusmatico 34 .


Descrizione dell’esperienza
        All’esperienza hanno partecipato nove studentesse iscritte al terzo anno del Corso
di laurea in Arts du Spectacle (specialità danza) dell’Università di Nizza. La sessione ha
avuto una durata di tre ore complessive, di cui la mezz’ora conclusiva è stata dedicata
alla discussione dell’esperienza. Partendo dal modello tripartito discusso precedentemen-
te abbiamo elaborato un dispositivo pedagogico che integra la mediazione tecnologica.
L’esercizio è stato così diviso in tre parti principali, ogni sezione corrispondente ad un
diverso livello di coinvolgimento sensoriale :

    1. Esperienza aptica + movimento con e senza gli oggetti
    2. Esperienza aptica + feedback sonori e oggetti
    3. Esperienza aptica + movimento + feedback sonori ma senza oggetti

        Inizialmente le studentesse sono invitate a scegliere un oggetto a partire da una se-
lezione, preparata precedentemente, di diversi oggetti (ad esempio, bottiglie di plastica,
teli, sciarpe, materiali di imballaggio, libri).
        Gli oggetti sono stati scelti al solo scopo di proporre una tavolozza ampia di ma-
teriali su cui lavorare. La prima parte dell’esercizio si articola in tre diferenti fasi volte
a stimolare la connessione graduale tra stimoli somatosensoriali, propriocezione e gesto.
Tutta questa parte avviene ad occhi chiusi in modo da eliminare l’apporto della stimo-
lazione visiva all’interno dell’esperienza percettiva. Durante la prima fase, viene chiesto
alle studentesse di esplorare con le mani la supericie degli oggetti scelti (Fig. 3). Questa
sezione dell’esercizio ha lo scopo di orientare il focus percettivo sui feedback aptici deri-
vanti dagli oggetti (ad esempio, forma, plasticità, peso, texture, qualità dinamiche). Nella
seconda fase le studentesse sono invitate a posare gli oggetti e a riprodurre i movimenti di
manipolazione esperiti precedentemente (Fig. 4). Si tratta, in questo caso, di riprodurre
una serie di gesti a partire dalle sole informazioni aptiche memorizzate (qualità tattili e
posizione della mano rispetto all’oggetto). Nella terza fase, chiediamo alle studentesse di
estendere le sensazioni aptiche, esperite durante la fase di manipolazione, all’interno di

    34. Cfr. tra gli altri la nozione di remote surrogacy elaborata da Dennis Smalley in Spectromorphology:
explaining sound-shapes, in «Organised Sound», vol. 2, n. 2, 1997, pp. 107-126.
256                                                                                     Andrea Giomi




un movimento più complesso che coinvolgesse l’intero corpo. Questa sezione è risultata
molto interessante sia per la diversità degli oggetti utilizzata sia, di conseguenza, per la va-
rietà dei movimenti proposti. Due variabili importanti sono emerse già in questa fase: da
un lato ogni oggetto induce, secondo le proprie qualità speciiche, dei movimenti peculia-
ri, dall’altro si nota un livello estremamente soggettivo di incorporazione di certe qualità
piuttosto che di altre. Ogni studentessa, infatti, sembra focalizzarsi solo su alcuni aspetti
della relazione gesto-oggetto al ine di costruire il movimento. Alcune, concentrandosi sul
peso dell’oggetto, traspongono questa qualità nella sensazione di gravità applicata al mo-
vimento (ad esempio, oggetto pesante = movimenti pesanti). Altre sfruttano la plasticità
o la texture dell’oggetto per individuare una qualità speciica del gesto. La valorizzazione
immaginativa delle sensazioni tattili e delle possibilità di manipolazione ha, già in questa
fase, un ruolo chiave. Il corpo dell’oggetto diventa infatti un pattern virtuale che consente
di organizzare percettivamente la composizione del movimento.
      La seconda parte dell’esercizio integra la mediazione tecnologica. Le studentesse so-
no invitate a ripetere l’esplorazione dell’oggetto indossando i due devices (Myo armband
e Hot Hands). Come accennato in precedenza, lo scopo dell’esercizio non è quello di pro-
durre del suono in modo intenzionale. I feedback acustici devono sorgere come un’eco
della manipolazione gestuale dell’oggetto (Fig. 5). Questa parte dell’esercizio è concepita
al ine di arricchire l’esperienza multimodale del movimento. In questa fase gli studenti
sono liberi di tenere gli occhi aperti. A questo riguardo, ho notato che tutte le studen-
tesse hanno iniziato la seconda parte dell’esercizio con gli occhi chiusi per poi aprirli
durante lo sviluppo dell’improvvisazione. La categorizzazione percettiva della relazione
gesto-oggetto si basa qui su almeno tre fattori : stimoli visivi, sensazioni dinamico/tattili
derivanti dall’oggetto e dalla relazione col corpo, feedback sonori prodotti per mezzo delle
interfacce. A seconda del materiale, alcuni oggetti hanno inoltre delle proprietà acustiche
che possono essere sollecitate o meno durante la manipolazione.
      Nella terza parte dell’esercizio, le studentesse proseguono i movimenti di mani-
polazione ma senza l’oggetto. In questa sezione i feedback sonori acquistano dunque
un’importanza signiicativa. In assenza di stimoli visivi e aptici, il processo di riconi-
gurazione virtuale dell’oggetto si radica due elementi : le sensazioni acustiche e la me-
moria delle informazioni aptiche. Nell’ultima sezione dell’esercizio, è stato chiesto alle
studentesse di creare dei movimenti a partire da tali sensazioni. Come nella prima par-
te, le studentesse compongono i pattern di movimento evocando le qualità strutturali
dell’oggetto (ad esempio, dimensione o plasticità). Anche in questo caso alcune caratteri-
stiche dell’oggetto sono preferite ad altre. Qui, tuttavia, il suono interagisce con la costru-
Percezione aptica, feedback sonoro e mediazione tecnologica                                                       257




zione del movimento (Fig. 6). Occorre notare che la natura ergonomica dei dispositivi,
così come la tipologia di mapping, permette di riprodurre le stesse qualità sonore tanto
con gesti di manipolazione che con movimenti più ampi che investono una medesima
organizzazione cinestesica.
        Benché la produzione del suono non rappresenti la inalità dell’esercizio, la connes-
sione multimodale tra percezioni aptiche e retroazione acustica interviene nel processo
di virtualizzazione dell’oggetto. Come vedremo nel prossimo paragrafo, la convergenza
di informazioni aptiche memorizzate somaticamente, feedback sonori interattivi, consa-
pevolezza propriocettiva e processi di valorizzazione immaginativa determina l’emergere
di una nuova anatomia corporea. Come vedremo nel prossimo paragrafo, la convergenza
di informazioni aptiche memorizzate somaticamente, feedback sonori interattivi, consa-
pevolezza propriocettiva e processi di valorizzazione immaginativa inluisce in maniera
strutturale sulla composizione del movimento.


Considerazioni a proposito dell’esperienza
        I report scritti delle studentesse mettono chiaramente in luce la doppia funzione
dell’oggetto. Da un lato sorgente dell’esperienza sensoriale primaria, dall’altro limite i-
sico per il movimento, l’oggetto guida la costruzione del gesto e inluenza la consape-
volezza propriocettiva del movimento. Nei commenti delle studentesse, l’oggetto non
è considerato come un elemento neutrale. Esso è piuttosto qualcosa « che inluenza
l’immaginazione del movimento » (Bérangère) 35 . Come accennato, l’oggetto è reso parte
del movimento tramite quello che chiamo un processo di virtualizzazione. Col termine
“virtuale” mi riferisco ai processi di « simulazione » 36 che strutturano l’organizzazione
percettiva del movimento: si tratta tanto di meccanismi proiettivi (il progetto motorio
che prepara e al contempo prolunga il movimento) quanto di aspetti igurativi (la trasi-
gurazione afettiva, simbolica e sensoriale del gesto). Nel rapporto speciico con l’oggetto
entra in gioco una serie di fattori quali il numero di contatti, la loro localizzazione ana-
tomica, l’omologia tra le regioni toccate, il grado simmetria e altri ancora. Tutti questi
elementi diventano una base sensoriale su cui elaborare percettivamente una modelliz-
zazione qualitativa dei patterns, i quali scivolano sotto la traccia dall’esperienza del ma-
nipolare a quella dell’azione. Le proprietà qualitative dell’oggetto non sono infatti sem-

    35. Tutti i virgolettati riportati nel testo sono degli estratti dei diversi “carnets de bord” delle studentesse,
indicate con il nome proprio.
    36. Rimando ancora una volta alla nozione di iction elaborata da Michel Bernard, De la création
chorégraphique, cit.
258                                                                                                   Andrea Giomi




plicemente acquisite, ma vengono integrate, e mediate, dalla personale organizzazione
cinestesica di ogni studentessa (relativamente al rispettivo bagaglio culturale, afettivo e
tecnico). Anche la semplice azione della manipolazione non è quindi un’operazione neu-
tra, in quanto rivela una forma di negoziazione peculiare tra le caratteristiche materiali
dell’oggetto e la sensibilità aptica di ogni studentessa. La natura speciica e soggettiva
di quest’interazione si riverbera nel movimento. Le proprietà dell’oggetto sono in efetti
selezionate in modo funzionale : « Si tratta, io penso, di una scelta incosciente ma non
totalmente anodina […] poiché scegliamo in relazione alla nostra propria “gestualità”, in
base al nostro modo di vedere l’oggetto e alla maniera di proiettarci con lui (scelta que-
sta anche afettiva: scegliamo un oggetto che ci piace, un oggetto con il quale abbiamo
voglia di lavorare/sperimentare)». Questo passaggio avviene, come suggerito, tramite la
mediazione della propriocezione e dei processi immaginativi. Malgrado la diversità del-
le risposte individuali all’esplorazione gestuale, un certo numero di costanti può essere
messo in rilievo. Durante la prima parte dell’esercizio due processi senso-motori vengono
messi in atto. Dopo aver posato gli oggetti, le studentesse sono invitate a ricostruire i gesti
di esplorazione. Come notato da gran parte delle studentesse, la riproduzione dei gesti di
manipolazione ha implicato innanzitutto una ri-attualizzazione somatica dei movimen-
ti memorizzati : « Mi sono ispirata alle diverse qualità dell’oggetto (la sua forma, il suo
peso, le sue qualità dinamiche) per costruire i movimenti. Ho immaginato che le qualità
dell’oggetto diventavano la qualità del mio corpo » (Mathilde). Già in questa prima fase
le studentesse sono incoraggiate a prendere consapevolezza di quei processi percettivi che
reggono l’organizzazione del movimento. Il secondo aspetto in gioco riguarda il trasferi-
mento di questa gestualità all’interno di un movimento più ampio che coinvolge lo spazio
circostante: « non si tratta veramente di “pensare” all’oggetto ma piuttosto di sentirlo nel-
lo spazio attorno. Occorre ritrovare l’oggetto sotto forma di qualità motoria » (Angelika).
La texture materiale è una delle caratteristiche che più ritroviamo nei diversi movimenti
degli studenti. Tale caratteristica è facilmente utilizzabile per indurre nel corpo una nuova
densità. Allo stesso modo, anche le proprietà dinamiche e la plasticità dell’oggetto han-
no un certo ruolo nell’inluenzare la qualità del gesto, specialmente in termini di energia
isica utilizzata e di sforzo, mentre, come già accennato, il peso dell’oggetto inluisce in-
vece sulla dimensione gravitaria del movimento: « Durante l’esplorazione dell’oggetto ho
potuto osservare che ogni oggetto induceva una manipolazione speciica. […] Nel mio
caso, potevo tirare la carta 37 , torcerla, farla volare, stroinarla o muoverla agilmente nel-

      37. In questo caso la studentessa ha lavorato con un grande foglio plastiicato da imballaggi.
Percezione aptica, feedback sonoro e mediazione tecnologica                                259




lo spazio. […] Nella parte di improvvisazione danzata, i miei movimenti si ispiravano a
quelle qualità dinamiche dell’oggetto » (Laura). Come osservato da alcune studentesse, la
plasticità dell’oggetto non ha solo un’inluenza diretta sul corpo, ma anche sulla densità
dello spazio prossimo. Ad esempio, un oggetto leggero indurrà a immaginare uno spazio
lessibile, morbido : « Nella parte danzata, ero completamente immersa nell’esperienza e
nella sensorialità che si difondeva attraverso lo spazio. Sentivo ogni sensazione, la mobi-
lità che potevo avere con l’oggetto. Sentivo questa sensazione nello spazio: la leggerezza,
la lessibilità, la dolcezza. » (Bérangère). Tutti questi elementi implicano un passaggio
delle informazioni aptiche verso un livello di consapevolezza propriocettiva che inluenza
conseguentemente l’organizzazione del movimento. Altri esempi mostrano come alcu-
ne qualità dell’oggetto sono più facilmente integrate nel movimento. Un esempio chiaro
viene da una studentessa (Laura) che ha utilizzato nella sua improvvisazione un carta da
imballaggio di plastica, di grandi dimensioni. Il carattere malleabile dell’oggetto gli per-
mette di essere deformato facilmente. Uno dei gesti ricorrenti nell’esplorazione di que-
sta studentessa era quello di torcere il foglio. Questo gesto è facilmente osservabile nei
movimenti più ampi che la studentessa improvvisa senza l’oggetto :
        « Nell’improvvisazione di Laura si vede chiaramente che il suo corpo aveva regi-
strato le informazioni acquisite durante l’esplorazione con l’oggetto così come quelle so-
nore. Era riuscita ad integrare attraverso l’oggetto e attraverso il suono delle sensazioni
senso-motorie nettamente “leggibili” anche quando ha proseguito l’improvvisazione sen-
za l’oggetto. Era possibile osservare delle azioni muscolare e dei gesti […] identici a quelli
osservati nell’esplorazione con l’oggetto » (Angelika).
        Il gesto di “attorcigliare” è per esempio visibile nei movimenti “a spirale” della co-
lonna vertebrale. In questo caso, il gesto di “attorcigliare” diventa un modello, un pattern
virtuale, per costruire il movimento (Fig. 7).
        Consideriamo adesso in che modo la mediazione tecnologica e il feedback sonoro
inluenzano l’esecuzione del gesto e la composizione del movimento. Come sottolineato
da molte studentesse tanto durante la discussione alla ine dell’esperienza (focus group)
quanto nei diari di bordo, l’interazione sonora provoca, almeno inizialmente, « una sorta
di shock » : « All’inizio i suoni prodotti dal movimento mi turbavano. Mi hanno pro-
vocato una sorta di shock. […] Ero più nell’ottica di produrre suono che in quella di
riprodurre le sensazioni provate con l’oggetto » (Bérangère). Occorre notare che la me-
diazione tecnologica permette qui l’emergere di una vera e propria immagine sonora del
corpo. Benché l’esplorazione gestuale non sia inalizzata alla produzione del suono, la
retroazione del feedback acustico impone innanzitutto una nuova gerarchia all’interno
260                                                                                                       Andrea Giomi




dell’organizzazione corporea. La sonorizzazione del movimento costituisce dunque qual-
che cosa di fortemente inedito in relazione all’esperienza percettiva abituale. In che ter-
mini possiamo però parlare di una nuova anatomia corporea? Consideriamo innanzitutto
che alcuni movimenti producono suono ed altri no. Questa semplice constatazione im-
plica che alcune parti del corpo vengono “intensiicate” in termini di capacità sensoriali
producendo una re-organizzazione funzionale della geograia percettiva. Gli studenti de-
vono integrare questa nuova base di dati sensoriali all’interno della costruzione del mo-
vimento (spesso costruito attorno a meccanismi irrilessi e ad attitudini posturali i quali
rinviano a loro volta alla storia emotiva ed esistenziale di ciascuno 38 ). Una tale opera-
zione implica innanzitutto una rideinizione dei conini del corpo anatomico, i quali si
trasformano da linee di frontiera a soglie porose. Ovviamente la profondità d’una tale
acquisizione non può che essere relativa alla sensibilità ed all’esperienza pregressa di ogni
studentessa. Un elemento importante è però presente nel dispositivo pedagogico: gli stu-
denti non conoscono i protocolli d’interazione del sistema. Da un punto di vista didatti-
co, si è scelto di non comunicare preliminarmente informazioni sul dispositivo in modo
tale da favorire la spontaneità dell’interazione. In efetti, non conoscendo i meccanismi
d’interazione, l’attenzione percettiva è rivolta completamente verso la dimensione im-
mersiva dell’esperienza piuttosto che verso una dimensione di controllo dell’interazione.
Alcune studentesse hanno osservato inoltre che la seconda parte dell’esercizio è caratte-
rizzata da un adattamento graduale dei feedback acustici alle sensazioni aptiche : « I suo-
ni mi hanno aiutata ad immaginare le qualità dell’oggetto come se fossero nello spazio
attorno a me. Poi, nell’improvvisazione danzata, i gesti potevano variare ma ho mante-
nuto la stessa qualità di manipolazione. Per quanto mi riguarda, il suono mi ha aiutato
a ritrovare quelle sensazioni e quelle qualità perché ero in grado di connettere un certo
suono ad un certo gesto » (Melyssa). In termini neuroscientiici questo passaggio implica
l’emergere di processi d’integrazione multimodale tra feedback aptici e acustici con una
conseguenza diretta (positiva o negativa) sull’organizzazione percettiva del movimento 39 .

    38. Si veda in proposito la rilessione di Hubert Godard sulla relazione gesto-premovimento: Godard,
Hubert, Le geste et sa perception, in Ginot, Isabelle - Michel, Marcel (a cura di), La danse au XXe siècle, Paris,
Larousse, 1998, pp. 224-229.
    39. Numerose ricerche hanno dimostrato come diverse aree cerebrali, su tutte il collicolo superiore, sono
in grado di produrre delle risposte complesse come risultato dell’interazione di diferenti stimoli sensoriali.
Un tale fenomeno è reso possibile grazie alla presenza di neuroni, detti “multisensoriali”, capaci di rispondere
a diversi stimoli (visivi, auditivi e somato-sensoriali). Attraverso tali processi d’integrazione, una certa stimo-
lazione sensoriale (ad esempio, uno stimolo acustico) può inluenzare la percezione di un altro stimolo (ex
stimolo luminoso) o interagire con esso producendo degli efetti di convergenza o divergenza multimodale.
Rinvio ad uno dei primi studi sperimentali in quest’ambito: Meredith, Alex - Stein, Barry E., Visual, audito-
ry and somatosensory convergence on cells in superior colliculus results in multisensory integration, in «Journal of
Neurophysiology», n. 56, 1986, pp. 640-662. Si veda inoltre il più recente Stein, Barry E. - Rowland, Ben-
Percezione aptica, feedback sonoro e mediazione tecnologica                                                   261




L’interazione tra segnali elettrici muscolari (EMG) e produzione sonora è particolarmen-
te interessante a questo proposito. La sonorizzazione della tensione muscolare produce in
efetti una sensazione abbastanza inusuale. Come notato da una studentessa durante la
discussione a ine esperienza: « è come percepire esteriormente qualcosa che normalmen-
te è una sensazione interna » (Clémentine). Diversamente da ciò che accade nella prima
interazione con l’oggetto, il bio-feedback provoca uno slittamento dell’attenzione percet-
tiva dalla dinamica esterna del gesto (la sensorialità esterocettiva), a quella interna, più
legata alla propriocezione. Pertanto, grazie ai bio-feedback, la percezione della variazio-
ne del tono muscolare, divenendo udibile, acquisisce un’importanza cruciale all’interno
della costruzione del gesto. Questa correlazione tra sforzo e generazione sonora ha un ri-
lesso diretto nella riproduzione dei gesti di manipolazione in assenza dell’oggetto. Come
sottolineato in precedenza, la ri-attualizzazione dei gesti di manipolazione non coinvolge
solamente la memoria somatica dell’esperienza aptica. In questo caso, gesti speciici sono
direttamente associati a speciiche modulazioni sonore (e, aggiungerei, a speciiche imma-
gini audiotattili 40 ). Il feedback sonoro diventa quindi una traccia sensoriale che facilita
la ri-attualizzazione dei movimenti legati alla manipolazione. Non è qui importante sof-
fermarsi sull’esattezza della riproduzione. Ovviamente tanto nella ri-attualizzazione con
i feedback acustici, che in quella senza, è in atto un processo di trasformazione. È però
signiicativo notare come una parte delle studentesse abbia messo in luce come la retroa-
zione sonora migliori, rispetto alla prima parte dell’esercizio, la capacità di ricostruire il
movimento precedentemente esperito. In assenza di oggetti materiali, il suono « rende
visibili » (Melyssa) gli oggetti virtuali evocati attraverso i gesti di manipolazione: « grazie
al suono, mi sembrava che l’oggetto “diventasse corpo” e riuscivo quindi quindi a sentire
le sue qualità nei miei movimenti. » (Clémentine).

        Altre interessanti osservazioni emergono dall’analisi dell’ultima parte dell’esercizio.
In questa sezione le studentesse sono invitate ad estendere i gesti di manipolazione all’interno

jamin A., Organization and plasticity in multisensory integration: early and late experience afects its governing
principles, in Green, Andrea et al. (a cura di), Enhancing Performance for Action and Perception. Multisensory
Integration, Neuroplasticity and Neuroprosthetics, Part I, Amsterdam, Elsevier, 2011, pp. 145-163.
    40. Sulla nozione di audiotattile rinvio a Caporaletti, Vincenzo, Il principio audiotattile come formati-
vità, in Sbordoni, Alessandro (a cura di), Improvvisazione Oggi, Lucca, LIM, 2014, pp. 29-42. Il termine
è utilizzato dall’autore per deinire quei processi musicali (tipici, per esempio, delle musiche ad alto tasso
di improvvisazione come il jazz) in cui la creazione della struttura sonora non si basa tanto su una sorgen-
te visuale-cognitiva (per esempio la partitura), ma sul rapporto diretto con l’aspetto motorio-gestuale. Una
rilessione analoga è quella che conduce già da diversi anni Rolf Gødoy parlando di « co-articolazione »
gesto-suono. Gødoy, in particolare, ha dimostrato, da un punto di vista sperimentale come suono e gesto
condividano delle analogie morfologiche strutturali (cfr. Gødoy, Rolf I., Geometry and Efort in Gestural
Renderings of Musical Sound, in Dias, Miguel S. - Gibet, Sylvie (a cura di), Gesture-Based Human-Computer
Interaction and Simulation, Berlin, Springer-Verlag, 2009, pp. 205-215.
262                                                                                                   Andrea Giomi




di movimenti più ampi con tutto il corpo. In questo caso, si tratta di virtualizzare le in-
formazioni percettive all’interno dell’organizzazione cinestesica. Due processi proiettivi
sono implicati in questa fase di riconigurazione corporea. Dapprima le sensazioni tattili
e propriocettive sono utilizzate come base per la valorizzazione immaginativa dello spazio
(in termini di densità) inluendo così sulla qualità del gesto. In questo caso, la riconigu-
razione virtuale dell’anatomia corporea si radica nelle qualità materiali dell’oggetto. Suc-
cessivamente, i movimenti danzati sorgono come variazione e come estensione dei gesti
di esplorazione (accarezzare, stringere, attorcigliare, siorare, soppesare): in questo caso, il
corpo dell’oggetto, non più presente in termini attuali, persiste sotto forma virtuale risuo-
nando nella corporeità danzante. In che modo la mediazione tecnologica e l’interazione
sonora informano un tale processo di virtualizzazione? Le osservazioni delle studentesse
diferiscono sensibilmente su questo punto. Una parte delle studentesse ha sottolineato la
diicoltà nell’integrare percettivamente le informazioni somatosensoriali con i feedback
sonori. Molte di loro hanno notato come la ricchezza delle sensazioni uditive rendesse
più diicile la rievocazione delle sensazioni tattili. Data la qualità prevalentemente mate-
rica dei suoni utilizzati (crepitii, scricchiolii o simili), le informazioni auditive sembrano
produrre non solamente delle immagini sonore ma anche delle sensazioni somatosenso-
riali : « Il suono che emerge in questa fase produce in me un’immagine diversa da quella
che avevo senza i sensori. Questa qualità sonora inluenza i miei movimenti ma in parte
mi disconnette dalla qualità dell’oggetto che avevo trovato in precedenza » (Angelika).
Abbiamo così due livelli “virtuali” dell’immagine tattile 41 . Una prima immagine è com-
posta dalla memorizzazione delle sensazioni tattili registrate durante l’esplorazione aptica
dell’oggetto. Una seconda immagine è invece quella evocata tramite le qualità materiche
della texture sonora. Benché nessuna delle due rappresenti una sensazione attuale, esse
sono entrambe presenti, sotto forma virtuale, nell’organizzazione percettiva del movi-
mento. È probabile che l’incongruenza, in termini d’integrazione multimodale, si origini
all’interno del sistema somatosensoriale stesso. Evidentemente si tratta di un’ipotesi. Co-
me già illustrato, il design sonoro si basa su materiali elettroacustici con una predominan-
za di sonorità materiche (ad esempio, crepitii). La sensazione auditiva risveglia in questo

     41. Uso qui il termine “immagine” in un senso lato e non necessariamente igurativo. In senso più
tecnico potremmo tuttavia parlare di immagini nella stessa modalità in cui le neuroscienze mettono in ri-
lievo sotto forma visiva il metabolismo di alcune aree del cervello. È ipotizzabile, a questo proposito, che
tanto la memoria delle sensazioni tattili che i feedback sonori sollecitino in qualche misura le stesse aree
somato-sensoriali. Le moderne tecniche di neuroimaging funzionale potrebbero in parte veriicare una tale
supposizione. Diversi passi avanti sono stati fatti negli ultimi dieci anni in questa direzione. Si veda in pro-
posito Naumer, Marcus J. et al., Multisensory Functional Magnetic Resonance Imaging, in Naumer, Marcus J.
e al. (a cura di), Multisensory Object Perception in the Primate Brain, New York, Springer, 2010, pp. 83-92.
Percezione aptica, feedback sonoro e mediazione tecnologica                                               263




caso sensazioni tattili di vario tipo. Michel Bernard parlerebbe, a questo proposito, di
chiasma intersensoriale. L’espressione denota la capacità di una determinata sensazione
di suscitare « en creux » o « en abîme » un “rilesso virtuale”, un “simulacro” che evoca
una sensorialità di altra natura. Questa sensorialità “seconda” (per esempio, l’immagine
tattile) non è sola giustapposta alla prima (la sensazione auditiva) ma vi interagisce mo-
diicandola e trasigurandola 42 . Possiamo allora supporre che i simulacri tattili e materici
sollecitati dalle sensazioni auditive sono in conlitto con il ricordo delle sensazioni tatti-
li derivanti dall’oggetto. In questo caso, la tipologia dell’oggetto utilizzato ha una certa
importanza. L’analisi dei video mostra inoltre come la convergenza o la divergenza tra
questi due ordini di sensazioni deriva anche dalla relazione con lo sforzo isico. In ef-
fetti, le studentesse che hanno sottolineato l’apporto positivo del feedback sonoro sono
quelle che, anche in ragione della tipologia dell’oggetto, hanno basato maggiormente la
costruzione del gesto sull’energia muscolare. Nelle loro improvvisazioni si nota infatti una
connessione piuttosto evidente tra le modulazioni sonore durante l’esplorazione gestuale
e le modulazioni sonore della sezione inale:

        Il feedback sonoro permetteva di mettere in evidenza la conicità muscolare utiliz-
zata in ogni movimento. Inoltre, il ritorno sonoro mi dava delle informazioni pertinenti
sulla contrazione muscolare mobilitata per efettuare un certo gesto. Questo rendeva più
eicace, più potente e più leggibile, l’interazione immaginaria con l’oggetto e mi aiutava
a ritrovare i gesti di manipolazione. Per esempio, quando riproduco i gesti di “tirare verso
l’alto” la carta da imballaggio utilizzo la contrazione dei miei muscoli. In questo caso u
suoni mi rispondono in maniera coerente rinforzando la qualità del geste di “allunga-
mento”. […] In efetti, ho sentito que il suono mi ha aiutato molto a ritrovare i movi-
menti d’esplorazione de l’oggetto a partire dalla presa di coscienza del tono muscolare
mobilitato. (Laura)

        Qui, le sensazioni tattili derivanti dall’oggetto sono integrate con le informazioni
acustiche ed espanse nel movimento. Strutture sonore simili si ripresentano chiaramente
tanto nella parte con gli oggetti che nella parte più danzata. Benché la produzione sono-
ra non sia lo scopo principale dell’esercizio, la connessione multimodale tra percezione

    42. « La corrispondenza incrociata dei nostri sensi […] estende, generalizza e, allo stesso tempo, ap-
profondisce e intensiica […] la iction: essa ne modiica la natura o la modalità per creare una sorta di
immaginario secondo o di métaicition di cui la corporeità danzante non può non nutrirsi. In questo senso,
occorre interpretare il celebre esempio di Claudel, “l’occhio ascolta”, non come il riconoscimento d’una sem-
plice interferenza […] ma come la produzione, in seno alla sensazione visiva, di un simulacro altro, ibrido
e singolare, determinato dallo speciico processo immaginativo della ricezione auditiva » (Bernard, Michel,
De la création chorégraphique, cit., p. 99). Traduzione mia.
264                                                                                                   Andrea Giomi




aptica e retroazione auditiva sembra facilitare in modo molto chiaro il processo di virtua-
lizzazione dell’oggetto in seno alla corporeità. Questo mostra pertanto che la convergen-
za tra informazioni aptiche memorizzate, feedback sonori e propriocezione può indurre
l’emergenza d’una nuova anatomia virtuale di cui il danzatore può prendere coscienza al
ine d’immaginare altrimenti l’organizzazione percettiva del movimento 43 .

      In accordo con i principi d’integrazione multimodale, i feedback acustici rinforzano,
in termini di eicacia e di precisione, la capacità di portare a compimento un task mo-
torio. Nel nostro caso, come si è visto, sono emersi risultati contraddittori. Nondimeno,
conviene notare che, laddove una coerenza percettiva tra materia sonora e sensazioni tat-
tili è possibile, allora i feedback sonori facilitato chiaramente i processi di virtualizzazione
e di ri-composizione del movimento. Anche la divergenza tra informazioni tattili e audi-
tive indica che il rapporto tra i due ordini di sensazioni non è in alcuno modo neutro. La
divergenza, così come la convergenza multimodale, denotano un’interazione reciproca tra
le componenti in gioco. Nei due casi, la ri-evocazione somatica delle informazioni aptiche
è inluenzata tanto dalla retroazione acustica che dalla sensazione di sforzo confermando
la natura reticolare ed interconnessa del nostro sistema sensoriale.

      Un’altra importante considerazione può essere fatta in relazione ai processi di vir-
tualizzazione dell’oggetto. Da un punto di vista “ecologico”, ogni oggetto è in grado di
stimolare una varietà di afordance, ovvero di possibilità di azione speciiche 44 . In ef-
fetti, come abbiamo notato, le diferenti tipologie di gestualità sorgono in relazione alla
costituzione materiale dell’oggetto. L’utilizzo di feedback sonori modiica radicalmente
la qualità di queste interazioni. Attraverso l’impiego di sensori, l’esplorazione aptica è
strettamente connessa alla manipolazione sonora. L’oggetto diviene quindi in grado di
sollecitare oltre alle afordance abituali (modalità di pressione, utilizzo) anche delle afor-
dance sonore. Queste persistono anche in assenza dell’oggetto poiché i feedback sonori
generati attraverso il gesto ne evocano la presenza : « Nella parte con i sensori, ho avu-

     43. Rilessioni analoghe risuonano per altro nelle parole di Hubert Godard a proposito della relazione
tra feedback aumentato e propriocezione in danza : « Con dei sensori sul corpo […] le informazioni proprio-
cettive riguardanti il movimento di queste parti possono essere trasformate in segnali visivi o sonori. Grazie a
quest’altro modo di percepire, che mi permette di avere una diversa immagine del mio corpo, di proiettarne
una diversa realtà nasce una molteplicità di potenzialità gestuali che mi possono liberare dalla coazione a
ripetere. Con questi sistemi possibile sentire delle sollecitazioni che ino a quel momento non erano state
percepite perché non avevano una soglia di eccitazione suiciente per arrivare alla supericie della coscienza »
(Menicacci, Armando - Quinz, Emanuele, Conversazione con Hubert Godard, in Id., La scena digitale, cit.,
pp. 371-381).
     44. Cfr. Gibson, James J., he heory of Afordances, in Shaw, Robert - Bransford, John (a cura di),
Perceiving, Acting, and Knowing: toward an ecological psychology, Manjwah, Lawrence Erlbaum Associates,
1977, pp. 127-143.
Percezione aptica, feedback sonoro e mediazione tecnologica                               265




to meno diicoltà a ricreare la relazione con l’oggetto anche se questo non era più tra
le mie mani. […] Riuscivo a connettermi i suoni ai gesti eseguiti durante l’esplorazione
dell’oggetto. In efetti il suono permetteva di “rendere visibile” la presenza dell’oggetto. »
(Melyssa). Dal punto di vista dell’organizzazione percettiva, l’oggetto è quindi ancora
presente, anche se virtualmente. È possibile afermare, a questo proposito, che l’oggetto
continua a produrre delle afordance per mezzo del suono benché esso non si trovi più
tra mani della studentessa. Frammenti di queste afordance sono ancora visibili nei movi-
menti danzati che riproducono modulazioni sonore già ascoltate in precedenza. In questo
senso, la nozione di afondance sembra non implicare semplicemente una “possibilità di
azione” ma, più in generale, una struttura cinestesica dinamica, un’anatomia virtuale, che
coinvolge l’intero apparato sensomotorio.



Conclusioni

        Gli efetti dei feedback sonori sul movimento ci permettono di pensare l’anatomia
del corpo non più come un’entità stabile e chiusa, ma come un processo di organizza-
zione dinamica. L’esercizio analizzato ci mostra come il processo di adattamento corpo-
reo si realizza attraverso dei ”modelli virtuali”, dei patterns, come li ho chiamati. Questi
permettono di trasferire e convertire determinate proprietà dell’ambiente in una certa
energia motoria o in una certa organizzazione cinestesica. Come abbiamo visto, le af-
fordance innescate dagli oggetti si inseriscono in questa deinizione di pattern virtuale.
Sulla base dell’osservazione diretta e dai commenti delle studentesse che hanno attraver-
sato l’esperienza, ho proposto di considerare le afordance sonore non solo in termini di
possibilità di azione (i vari tipi di manipolazione di oggetti, come accarezzare, stroinare,
torcere), ma anche in base alle organizzazioni cinestetiche derivate (movimenti danzati
costruiti in relazione agli oggetti). In questo caso, il feedback acustico agisce come ma-
teriale plastico in grado di custodire una traccia materiale dell’oggetto e dei movimenti
di manipolazione associati. In particolare, la coerenza percettiva tra il gesto e il feedback
acustico, consente di attivare processi di integrazione multimodale che facilitano la tra-
smissione della struttura dell’oggetto nella composizione del movimento. Emergendo co-
me eco sonora del gesto, il suono diventa un mediatore di modelli virtuali che risuonano
tra il corpo dell’oggetto e il corpo del danzatore.

        Il processo di sonorizzazione del movimento permette d’altronde di sperimentare
nuove modalità percettive. Innanzitutto il feedback consente di rendere udibili alcuni
aspetti del movimento, come per esempio l’attività elettrica dei muscoli, che non sa-
266                                                                                                  Andrea Giomi




rebbero altrimenti percepibili. La mediazione sonora permette quindi di percepire mo-
vimenti apparentemente abituali attraverso una diversa modalità sensoriale. In tal mo-
do è possibile dotare la corporeità d’una presenza sonora. Tale processo di estensione
e d’intensiicazione sensoriale può essere un mezzo di analisi importante all’interno del
contesto pedagogico. Collegando la retroazione sonora al gesto, le studentesse vengono
a conoscenza delle gradazioni e delle sfumature che compongono il movimento. La fun-
zione positiva del feedback sonoro risulta essere decisiva in due aspetti. Da un lato, il
sistema uditivo è in grado di riconoscere le variazioni temporali in modo più ine rispetto
ad altri canali percettivi, sollecitando così una grande consapevolezza delle sfumature sot-
tese alla composizione del gesto. Dall’altro, una riconigurazione signiicativa della nostra
geograia sensoriale consente di mettere in luce i meccanismi fondamentali che reggono
l’organizzazione percettiva del movimento.

      L’esperienza presentata mostra come l’interazione sonora possa essere concepita sia
come strumento educativo capace di indurre una consapevolezza del corpo sia come stru-
mento analitico per lo studio del movimento e della percezione. Da un punto di vista
pedagogico, le studentesse hanno avuto l’opportunità di scoprire alcune delle possibili-
tà oferte dall’interazione con la tecnologia e di sperimentare così delle modalità inedite
di relazione con il suono. Questa nuova sensibilità permette di approfondire la natura
stratiicata del gesto e della sua percezione. Inoltre, la natura ecologica degli esperimenti
proposti permette di acquisire una diversa conoscenza somatica, la quale induce alla messa
in discussione di posture abituali e di modelli corporei irrilessi. L’approfondimento della
metodologia di ricerca consentirà, in occasione di lavori futuri, di migliorare l’eicacia di-
dattica dei dispositivi presentati. Innanzitutto, delle esperienze pratiche preliminari attor-
no alla questione dell’ascolto si rivelano necessarie per preparare gli studenti al lavoro con
la mediazione tecnologica e con i feedback sonori. L’impiego congiunto di altri metodi
di indagine qualitativa, come ad esempio le interviste di esplicitazione 45 , consentiranno
agli studenti di acquisire una maggiore consapevolezza del proprio “vissuto”, in termini
sensoriali ed afettivi, riguardo alle esperienze proposte.

      Dal punto di vista metodologico, lavori futuri dovranno inoltre tener conto di stru-
menti comparativi adeguati al contesto. Oltre alle interviste di esplicitazione, le quali
hanno valore tanto per lo studente che per il pedagogo e/o per il ricercatore, altri metodi,
come l’impiego di questionari qualitativi, permetteranno di valutare le reazioni secondo

    45. Cfr. Balas-Chanel, Armelle, L’entretien d’explicitation. Accompagner l’apprenant vers la métacognition
explicite, in «Recherches & éducations», n. 1, 2002, rechercheseducations.revues.org/159.
   Percezione aptica, feedback sonoro e mediazione tecnologica                                                267




   un quadro comparativo. Da un lato, questi strumenti consentiranno agli studenti di far
   luce sulle loro esperienze e sulle loro rilessioni e d’altra parte essi permetteranno di esami-
   nare più in dettaglio la qualità soggettiva dell’esperienza. L’impiego di metodi quantitativi
   potrà inoltre essere preso in considerazione. Tra questi, l’analisi e l’interpretazione dei dati
   relativi all’attività muscolare, con particolare riferimento ai micro-movimenti 46 , possono
   essere un elemento interessante per valutare gli efetti dei feedback positivi sulla riorga-
   nizzazione tonica del movimento (in termini di soprattutto di contrazione dei muscoli e
   di distribuzione del peso). L’integrazione tra questi strumenti di analisi bio-isiologica e i
   modelli di analisi basati su sistemi tradizionali di motion capture permetterà certamente
   di arricchire la base dati dell’esperimento consentendo così di approfondire i legami tra
   la composizione del gesto, l’interazione sonora e la percezione del movimento.



   Bibliograia

– «Nouvelles de danse», numero monograico Interagir avec les technologies numériques, n.
  52, 2004.

– Addessi, Anna Rita et al., he MIROR platform for young children’s music and dance crea-
  tivity: Relexive interaction meets body-gesture, embodied cognition and Laban educational
  dance, in «Perspectives. Journal of Early Childhood Music & Movement Association»,
  vol. 10, n. 1, 2015, pp. 9-17

– Alaoui, Sarah F. et al., Seeing, sensing and recognizing Laban movement qualities, in «Pro-
  ceedings of the 2017 CHI Conference on Human Factors in Computing Systems», Den-
  ver, 2017, pp. 4009-4020.

– Balas-Chanel, Armelle, L’entretien d’explicitation. Accompagner l’apprenant vers la métaco-
  gnition explicite, in «Recherches & éducations», n. 1, 2002, rechercheseducations.revues.
  org/159.

– Bergsland, Andreas - Wechsler, Robert. Turning movement into music. Issues and appli-
  cations of the MotionComposer, a therapeutic device for persons with diferent abilities, in
  «SoundEfects. An Interdisciplinary Journal of Sound and Sound Experience», numero
  speciale Sound and Listening in Healthcare and herapy, vol. 5, n. 1, 2016, pp. 24-47.

– Bernard, Michel, De la création chorégraphique, Pantin, Centre National de la Danse,
  2001.

– Berthoz, Alain, Le sens du mouvement, Paris, Odile Jacob, 1997.

        46. Gli studi condotti recentemente da Alexander Jensenius all’Università di Oslo vanno per esempio
   in questa direzione : Jensenius Alexander R., Sonic Microinteraction in the Air, in Lesafre, Micheline - Maes,
   Pieter-Jan - Leman, Marc (a cura di), he Routledge Companion of Embodied Music Interaction, Londra-New
   York, Routledge, 2017, pp. 431-439. Occorre d’altronde notare che in questo caso l’oggetto di analisi non
   è la danza ma i micro-movimenti di musicisti e/o neoiti in reazione alla musica.
   268                                                                                    Andrea Giomi




– Bevilacqua, Frédéric et al., Gesture capture: paradigms in interactive music/dance systems, in
  Klein, Gabriele - Noeth, Sandra (a cura di), Emerging bodies. he performance of worldma-
  king in dance and choreography, Bielefeld (Deutschland), Transcript Verlag, 2011, pp.183-
  193.

– Bevilacqua, Frédéric et al., he augmented string quartet: experiments and gesture following,
  in «Journal of New Music Research», vol. 41, n. 1, 2012, pp. 103-119.

– Bolter, Jay D. - Gromala, Diane, Windows and Mirrors. Interaction design, digital art, and
  the myth of transparency, Cambridge (Mass.), MIT Press, 2003.

– Broadhurst, Susan, Intelligence, interaction, reaction, and performance, in Broadhurst, Su-
  san - Machon, Josephine (a cura di), Performance and technology. Practices of virtual em-
  bodiment and interactivity, Basingstoke (UK), Palgrave Macmillan, 2006, pp. 141-152.

– Camurri, Antonio et al., EyesWeb.Toward gesture and afect recognition in dance/music
  interactive systems, in «Computer Music Journal», vol. 24, n. 1, 2000, pp. 57-69.

– Camurri, Antonio et al., Multimodal analysis of expressive gesture in music and dance per-
  formances, in Human-Computer Interaction, Berlin, Springer Verlag, 2004, pp. 20-39.

– Caporaletti, Vincenzo, Il principio audiotattile come formatività, in Sbordoni, Alessandro
  (a cura di), Improvvisazione Oggi, Lucca, LIM, 2014, pp. 29-42.

– Cherry, Gina et al., Using a digital video annotation tool to teach dance composition, in «Inte-
  ractive Multimedia Journal of Computer. Enhanced Learning», n. 5, 2003, imej.wfu.edu/
  articles/2003/1/01/index.asp.

– Copeland, Roger, Merce Cunningham. he modernizing of Modern Dance, Londra-New
  York, Routledge, 2004.

– Dania, Aspasia et al., he use of technology in movement and dance education: recent practices
  and future perspectives, in Procedia Social and Behavioral Sciences, vol. 15, 2011, pp. 3355–
  3361.

– Delbridge, Matt, Motion Capture in Performance. An Introduction, Basingstoke (UK),
  Palgrave MacMillan, 2015.

– Dixon, Steve, Digital performance. A history of new media in theater, dance, performance
  art, and installation, Cambridge (Mass.), MIT Press, 2007.

– Donnarumma, Marco, Coniguring corporeality. Performing bodies, vibrations and new
  musical instruments, PhD thesis (Goldsmiths, University of London, UK), 2016.

– Dyson, Frances, Sounding new media. Immersion and embodiment in the arts and culture,
  Berkeley-Los Angeles, University of California Press, 2009.

– Eversman, Peter, Education-Performing arts-Information technology: an impossible triangle?,
  in Nesi, Paolo - Santucci, Rafaella (a cura di), Information technologies for performing arts,
  media access, and entertainment, Berlin, Springer-Verlag, 2013, pp. 175-191.

– Farina, Dario et al., he Extraction of Neural Information from the Surface EMG for the
    Percezione aptica, feedback sonoro e mediazione tecnologica                                269




   Control of Upper-LimbProstheses: Emerging Avenues and Challenges, in «IEEE transactions
   on neural systems and rehabilitation engineering», vol. 22, n. 4, 2014, pp. 797-801.

– Forsythe, William, Improvisational Technologies. A Tool for the Analytical Dance Eye, Karl-
  sruhe, ZKM, 1999.

– Frid, Emma et al., Interactive soniication of spontaneous movement of children - Cross-modal
  mapping and the perception of body movement qualities through sound, in «Frontiers in Neu-
  roscience», vol. 10, n. 521, 2016, www.ncbi.nlm.nih.gov/pmc/articles/PMC5104747/.

– Friz, Vivian, Danse et nouvelles technologies vers d’inédites écriture chorégraphique, hèse de
  Doctorat en Arts du Spectacle mention Danse, Université de Strasbourg, 2015.

– Gehlhaar, Rolf et al., Instruments for everyone: designing new means of musical expression
  for disabled creators, in Brooks, Anthony L. et al. (a cura di), Technologies of inclusive well-
  being. Serious game, alternatives realities and play therapy, New York, Springer, 2014, pp.
  167-198.

– Gibson, James J., he heory of Afordances, in Shaw, Robert - Bransford, John (a cura
  di), Perceiving, Acting, and Knowing: toward an ecological psychology, Mahwah, Lawrence
  Erlbaum Associates, 1977, pp. 127-143.

– Ginot, Isabelle, Discours, techniques du corps et technocorps, in Giofredi, Paule (a cura di),
  À la rencontre de la danse contemporaine: porosités et résistances, Paris, L’Harmattan, 2009,
  pp. 265-293.

– Godard, Hubert, Le geste et sa perception, in Ginot, Isabelle - Michel, Marcel (a cura di),
  La danse au XXe siècle, Paris, Larousse, 1998, pp. 224-229.

– Gødoy, Rolf I., Geometry and Efort in Gestural Renderings of Musical Sound, in Dias,
  Miguel S. - Gibet, Sylvie (a cura di), Gesture-Based Human-Computer Interaction and
  Simulation, Berlin, Springer-Verlag, 2009, pp. 205-215.

– Jafré, Olympe, Danse et nouvelles technologies: enjeux d’une rencontre, Paris, L’Harmattan,
  2007.

– Jensenius Alexander R., Sonic Microinteraction in the Air, in Lesafre, Micheline - Maes,
  Pieter-Jan - Leman, Marc (a cura di), he Routledge Companion of Embodied Music Inte-
  raction, Londra-New York, Routledge, 2017, pp. 431-439.

– Jensenius, Alexander R., An action-sound approach to teaching interactive music, in «Orga-
  nised Sound», vol. 18, n. 2, 2013, pp. 178-189.

– Källblad, Anna et al., Hoppsa Universum. An interactive dance installation for children, in
  Proceedings of New Interfaces for Musical Expression, Genova, 2017, 2008, pp. 128-133..

– Karkou, Vicky et al., Karkou, Vicky et al., Traditional dance, pedagogy and technology: an
  overview of the WebDANCE project, in «Research in Dance Education», vol. 9, n. 2, 2008,
  pp. 163-186.

– Lechner, Patrik, Multimedia Programming Using Max/MSP and TouchDesigner, Birmin-
  gham, Packt Publishing, 2014.
   270                                                                                   Andrea Giomi




– Leman, Marc, Embodied music cognition and mediation technology, Cambridge (Mass.),
  MIT Press, 2008.

– Machover, Tod, Hyperinstruments: a progress report 1987-1991, Cambridge (Mass.), MIT
  Press, 1992.

– Maes, Pieter-Jan et al., he conducting master: an interactive, real-time gesture monitoring
  system based on spatiotemporal motion templates, in «International Journal of Human-
  Computer Interaction», vol. 29, n. 7, 2013, pp. 471-487.

– Maes, Pieter-Jan et al., he coupling of action and perception in musical meaning formation,
  in «Music Perception», vol. 32, n. 1, 2014, pp. 67–84.

– Menicacci, Armando - Quinz, Emanuele (a cura di), La scena digitale: nuovi media per la
  danza, Bolzano, Marsilio Editore, 2001.

– Menicacci, Armando - Quinz, Emanuele, Étendre la perception? Transferts intermodaux
  et biofeedback en danse, in «Nouvelles de danse», numero monograico Scientiiquement
  danse. Quand la danse puise aux sciences et réciproquement, n. 53, 2006.

– Menicacci, Armando, L’enseignement de la danse face au numérique, in «Nouvelles de
  danse», numero monograico Danse et nouvelles technologies, n. 40/41, 1999, pp. 55-64.

– Meredith, Alex - Stein, Barry E., Visual, auditory and somatosensory convergence on cells in
  superior colliculus results in multisensory integration, in «Journal of Neurophysiology», n.
  56, 1986, pp. 640-662.

– Miranda, Eduardo R. - Wanderley, Marcelo M., New digital musical instruments: control
  and interaction beyond the keyboard, Middleton (WI), A-R Editions, 2006.

– Naumer, Marcus J. et al., Multisensory Functional Magnetic Resonance Imaging, in Naumer,
  Marcus J. et al. (a cura di), Multisensory Object Perception in the Primate Brain, New York,
  Springer, 2010, pp. 83-92.

– Naveda, Luis - Leman, Marc, he Spatiotemporal representation of dance and music gestures
  using topological gesture analysis (TGA), in «Music Perception», vol. 28, n. 1, 2010, pp.
  93–111.

– Parrish, Mila, Integrating technology into the teaching and learning of dance, in «Journal for
  the National Dance Education Organization», n. 1, 2001, pp. 20–25.

– Parrish, Mila, Technology in Dance Education, in Bresler, Liora (a cura di), Internatio-
  nal Handbook of Research in Arts Education, Cham (Switzerland), Springer International,
  2007, pp. 1381-1397.

– Pitozzi, Enrico, Body soundscape. Perception, movement and audiovisual developments in
  contemporary dance, in Kaduri, Yael (a cura di), he Oxford Handbook of Music, Sound
  and Image in the Fine Arts, New York, Oxford University Press, 2016, pp. 256-288.

– Pitozzi, Enrico, De la constitution du corps de synthèse sur la scène performative. Perception
  et technologies, in Bourassa, Renée - Poissant, Louise (a cura di), Personnage virtuel et corps
  performatif. Efets de présence, Montréal, Presses de l’Université du Québec, 2013.
    Percezione aptica, feedback sonoro e mediazione tecnologica                               271




– Pitozzi, Enrico, Dissectio: anatomie del corpo sonoro, in Valentini, Valentina (a cura di),
  Drammaturgie sonore. Teatri del secondo Novecento, Roma, Bulzoni Editore, 2012, pp.
  285-314.

– Risner, Doug - Anderson, Jon, Digital Dance Literacy: an integrated dance technology
  curriculum pilot project 1, in «Research in Dance Education», vol. 9, n. 2, 2008, pp.
  113-128.

– Santana, Ivani, Experiences and relections about presence and memory in dance with tech-
  nological mediation through the situated cognition approach, in «Revista Mapa D2 - Dança e
  (performance) digital», vol. 3, n. 2, 2016, pp. 11-26, portalseer.ufba.br/index.php/mapad2
  danse.revues.org/607.

– Smalley, Dennis, Spectromorphology: explaining sound-shapes, in «Organised Sound», vol.
  2, n. 2, 1997, pp. 107-126.

– Stein, Barry E. - Rowland, Benjamin A., Organization and plasticity in multisensory in-
  tegration: early and late experience afects its governing principles, in Green, Andrea et al.
  (a cura di), Enhancing Performance for Action and Perception. Multisensory Integration,
  Neuroplasticity and Neuroprosthetics, Part I, Amsterdam, Elsevier, 2011, pp. 145-163.

– Stensæth, Karen, Potentials and challenges in interactive and musical collaborations invol-
  ving children with disparate disabilities. A comparigion study of how Petronella, with Do-
  wn syndrome, and Dylan, with autism, interact with musical and interactive tangible ‘WA-
  VE’, in Stensæth, Karen (a cura di), Music, health, technology and design, Oslo, NMH-
  publications, 2014, pp. 97-118.

– Van Dyk, Katharina, Usages de la phénoménologie dans les études en danse, in «Recherches
  en danse», n. 1, 2014, danse.revues.org/607 .

– Vieira, Marcilio S., Approches somatiques du corps dans la danse, in «Revista Brasileira de
  Estudos da Presença», vol. 5, n. 1, 2015, pp. 127-147.

– Visi, Federico et al., A practice-based study on instrumental gestures in music composition and
  performance: Kineslimina, in Bevilacqua, Frédéric et al. (a cura di), MuSA 2015 - Sixth
  International Symposium on Music/Sonic Art: Practices and heories, Karlsruhe, Germany,
  2015.

– Visi, Federico et al., Gesture in performance with traditional musical instruments and elec-
  tronics: Use of embodied music cognition and multimodal motion capture to design gestural
  mapping strategies, in Bevilacqua, Frédéric et al. (a cura di), MOCO ’14: Proceedings of the
  2014 International Workshop on Movement and Computing, Paris, ACM, 2014.

– Visi, Federico et al., Musical instruments, body movement, space, and motion data: music
  as an emergent multimodal choreography, in «Human Technology: An Interdisciplinary
  Journal on Humans in ICT Environments», vol. 13, n. 1, 2017, pp. 58-81.

– Wanderley, Marcelo et al., he importance of Parameter Mapping in Electronic Instrument
  Design, in «Journal of New Music Research», vol. 32, n. 4, 2003, pp. 88–93.
   272                                                                                  Andrea Giomi




– Wechsler, Robert, Les ordinateurs et la danse: retour vers l’avenir?, in «Nouvelles de danse»,
  numero monograico Danse et nouvelles technologies, n. 40/41, 1999, pp. 144-159.
