Data Sonification as Artistic Practice

Da SaMPL.
DELL r900 & ARP2500 hybrid

La prassi e i concetti della sonificazione dei dati attraversano gli ambiti delle scienze, della musica e delle arti, del quotidiano e delle professioni.

Il campo di studi dove la sonificazione è stata problematizzata maggiormente e la sua valenza epistemica indagata è l'auditory display. Qui si intende per sonificazione dei dati l'uso dell'audio non verbale al fine di convogliare informazioni, nello specifico trasformare dati in fenomeni acustici per facilitarne la comunicazione e l'interpretazione.

Questo assunto si basa sulla considerazione dell'orecchio come sistema psicofisico e cognitivo le cui capacità possono essere istruite per determinati compiti, come dimostrato dalle consuetudini storiche e attuali di svariati ambiti scientifici, industriali e artigianali.

La sonificazione è stata un precursore con certe pratiche basate sulla competenza auditiva, successivamente accantonate e meccanizzate in più sofisticate implementazioni. Nella contemporaneità, la sonificazione è molto viva all'interno di svariati campi in particolare per applicazioni nate dall'attuale design-thinking del prodotto e dei servizi.

Per di più, sul concetto di orecchio "istruibile" è stato innestato un discorso epistemico, finalizzato a capire se la sonificazione sia uno strumento di conoscenza razionale e goda di consistenza disciplinare. Questo passaggio è supportato tra l'altro dal fatto che la sonificazione è punteggiata da sperimentazioni dove il ricorso all'udito sostituisce o almeno aumenta la rappresentazione visiva.

Tuttavia, posto che nel discorso scientifico né l'udito né la vista siano mai state considerate di per sé una garanzia di conoscenza, le pratiche della sonificazione non sono primariamente un oggetto di interesse della dimostrazione scientifica ed è per lo meno controverso se le pratiche della sonificazione siano l'esito dell'insoddisfazione rispetto a consuetudini in vigore piuttosto che un'opportunità come qualsiasi altra.

L'attenzione riservata alla sonificazione da parte dei cosiddetti sound studies - un ambito che in forza della sua interdisciplinarità pretende di spiegare meglio rispetto alla settorializzazione sociologica, etnologica e storica il rapporto tra l'uomo e i suoni della contemporaneità - ha fornito un approccio trasversale per problematizzare la sonificazione evitando le parzialità.

Ad esempio, la sonificazione è stata usata come uno strumento per riabilitare la cultura dell'orecchio rispetto all'imperante dominio del visuale, spesso considerato come icona di una sfrenata ideologia del progresso e della produttività; oppure, come riferimento della critica per come il successo di una pratica o di un dispositivo dipenda non solo da criteri epistemici ma da fattori quali le modalità di accreditamento in vigore nelle comunità.

La sonificazione è stata strumentalizzata anche nel merito dell'estetica auditiva, ipostatizzando il contributo dei metodi e degli approcci scientifici quali fattore determinante per il rinnovamento delle arti, senza presupporre né la sua consistenza disciplinare né il suo qualificarsi come metodo scientifico. In relazione al contesto e alla combinazione di interessi di gruppi di potere, come nella divulgazione di programmi di ricerca scientifica, le consuetudini della sonificazione sono state ridotte a metodo pratico per creare morfologie sonore di qualsiasi significanza.

L'implicito valore estetico della sonificazione non dovrebbe essere confuso con la sua applicazione artistica, in quanto la issue della soggettività è affrontata già da una prospettiva scientifica. Piuttosto, nella prospettiva artistica emergono nuove questioni sugli scopi della sonificazione dei dati che possono essere molto fruttuosi.

Gli usi sociali, culturali e politici della sonificazione sono particolarmente evidenti: giusto per citare un esempio oltre agli importanti casi della performance di mercato e le issue ambientali, dati relativi a eventi o comunità locali ridotti allo stato di mera informazione sono stati usati spesso in composizioni e installazioni per consentire ai fruitori di recuperarne il valore.

Obiettivi della School

Scopo della School è porre il discorso epistemico in secondo piano ma senza oscurarlo, per esaminare la sonificazione dei dati da un punto di vista artistico, dove il discorso estetico possa ricevere l'ampio rilievo metodologico che merita - fermo restando che l'avvicinamento di pratiche scientifiche e artistiche può produrre i risultati migliori nell'ambito di una ricerca artistica dove vi sia effettivamente il confronto tra visioni differenti.

A questo proposito è necessario sottolineare ancora una volta che le virtù della sonificazione sono legate precisamente alla sua temporaneità e all'intuizione, e indirettamente connesse alle criticità che continuamente emergono se si cerca di assimilarla a un contesto disciplinare ristretto.

Di conseguenza, non interessa valutare l'efficacia estetica della sonificazione di per sé, quanto irrobustire l'approccio artistico per mezzo del contributo che possono dare, ad esempio, la teoria della comunicazione, la semiotica e il design.

Per raggiungere lo scopo, i partecipanti alla School potranno proporre i loro progetti di sonificazione nella forma di qualsiasi tipo di artefatto artistico, dalla composizione strumentale a quella mista, all'acusmatica, all'installazione sonora e alla sound art, tematizzando il lavoro nell'ottica di produrre un report da inserire in una pubblicazione successivamente all'evento di presentazione dei risultati artistici.

Alcuni spunti di riflessione e operativi (non vincolanti):

  1. citare e creare détour musicali su episodi storici della sonificazione (sonificazione "al quadrato" o meta-sonificazione);
  2. combinare sonificazione e storytelling;
  3. veicolazione di contenuti di interesse sociale, latenti in dati messi a disposizione di recente;
  4. sonificazione di dati locali, in particolare del Veneto (per esempio: flusso turistico; produzione e consumo di vini e superalcolici; produzione di tessuti per l'alta moda; trasporto fluviale storico; traffico navale; topografia urbana; sistema fognario);
  5. sonificazione applicata a generi musicali di specifiche culture;
  6. sonificazione come attitudine anti-egoista nella creatività musicale;
  7. combinare sonificazione e performance o improvvisazione;
  8. implicazioni conseguenti al riscalamento temporale consentito dalle tecniche offline o ai vincoli del tempo reale;
  9. categorie dell'auditory display usate per creare veri e propri pezzi di musica.

Dettagli

Sito del workshop sul sistema Open Conference della Scuola di Musica Elettronica del Conservatorio "C. Pollini".
Sito del progetto sul repository della Scuola di Musica Elettronica.

Date importanti

9 aprile 2015, chiamata ai progetti
11 maggio 2015, deadline per l'iscrizione (estesa)
12 maggio 2015, comunicazione ai partecipanti
21-22 maggio 2015, seminario e workshop Fabio Cifariello Ciardi
28-29 settembre 2015, seminario e workshop Martin Rumori
13 novembre 2015, show-off artistico (Living Lab Music 6)

Personale

Fabio Cifariello Ciardi, Conservatorio di Trento [seminario,workshop]
Martin Rumori, Institut für Elektronische Musik und Akustik, Kunstuniversität Graz [seminario,workshop]
Giorgio Klauer, Conservatorio di Padova, Sound and Music Processing Lab [coordinamento]
Andrea Vigani, Conservatorio di Padova, Sound and Music Processing Lab [coordinamento]

Progetti e partecipanti

Variazioni sulla libertà asintotica
Marco Matteo Markidis (University of Trento/Conservatory of Trento)

Variazioni sulla libertà asintotica nasce dall’idea di voler creare un brano acusmatico a quattro piste partendo dalla sonificazione di dati provenienti dalla Cromodinamica Quantistica (QCD). In particolare il brano intende focalizzarsi sulla libertà asintotica, fenomeno per il quale la costante d’accoppiamento dell’interazione forte dipende dal momento trasferito, per cui a scale di energia diverse si ha una diversa forza sentita tra le particelle in gioco. In particolare, a basse energie si ha la cosiddetta schiavitù infrarossa, ossia che le particelle sono fortemente accoppiate, mentre ad alta energie si ha la libertà asintotica, fenomeno per il quale la costante d’accoppiamento tende a zero e si avrebbe un disaccoppiamento delle particelle.

MagnetoSonic Pendulum
Cristian Sommaiuolo, Dario Casillo, Pietro Lama (Conservatory of Napoli)

I dati sono relativi al consumo giornaliero delle 7 province della regione Veneto vengono utilizzati separatamente da un algoritmo di sintesi Karplus-Strong. Ad ogni provincia è associato un modulo sonoro con una frequenza fondamentale diversa, mentre i dati fungono da parametro per ampiezza, cutoff e quantità di eventi impulsivi nell'unità di tempo. Il segnale audio generato dall'algoritmo è inserito nel sistema hardware di un'installazione basata sul fenomeno dell'induzione elettromagnetica e costituita da 7 bobine trasmittenti e una ricevente, sospese e disposte in cerchio, o in fila, con la bobina ricevente al centro. Ogni bobina è associata ad una provincia della regione Veneto, e ad ognuna di esse viene inviato il corrispondente segnale audio. Ogni singolo segnale genera suoni impulsivi tali da creare la spinta necessaria per l'oscillazione fisica delle bobine che si respingeranno tra loro. La bobina centrale è in grado di rilevare i campi magnetici delle sette bobine da cui è circondata e renderli udibili. Al crescere dei valori corrisponde una maggiore quantità di eventi impulsivi nel tempo: in questo modo si creano delle poliritmie variabili nel tempo con frequenze diverse, il che permette di percepire l'andamento generale dato dalla somma degli eventi singoli, ma anche l'andamento della signola provincia.

Sonificare lo spazio urbano di Venezia
Stefano Luca (University of the Republic of San Marino), Razvan Hanganu, Matteo Polato (Conservatory of Padova)

Può la passeggiata veneziana diventare uno strumento di composizione? L’esperienza di movimento nell'ambiente urbano può diventare un'esperienza di creazione musicale? Scegliere un percorso piuttosto che un altro, decidendo le "velocità di crociera" ed assegnando eventuali tempi di sosta, può dare vita ad un'opera, dove suoni e relazioni tra suoni sono la diretta conseguenza delle scelte precedenti? I dati che potrebbero "nutrire" la sonificazione sono riconducibili a tre macro-categorie, "descrittori" dell'ambiente urbano. Spazio: forma dello spazio (calle, calle-corte, calle larga, fondamenta, campiello, campo, campo grande ed articolato, piazza); dimensione dello spazio; relazioni tra spazi: dirette (ad esempio il brusco passaggio tra sottoportego e campo) oppure mediate ed articolate (ad esempio il passaggio tra sottoportego, calle, calle larga, campo), semplici (sequenza di calli) o complesse (calli che intersecano canali). Luce: relazioni direttamente correlate alla forma dello spazio (come il brusco passaggio da un sottoportego ombroso ad un campo assolato) oppure mediate (come il medesimo passaggio, articolato e graduato); temperatura "azzurrina", legata alla presenza dell'acqua e alla pietra bianca d'istria. Suono: la persistenza del suono nello spazio è quella qualità specifica dell'ambiente veneziano che consente ai buoni ascoltatori di cogliere senza fatica intere conversazioni tra passanti, anche se in movimento, anche se oramai lontani. Tale qualità può essere riconducibile alla forma dello spazio (spesso forme non rettilinee ma curve), alla dimensione dei volumi del vuoto (mediamente inferiori rispetto a qualunque altra città "storica") alla qualità dei materiali (trachite a terra, acqua sui canali, pietra/intonaco sulle superfici verticali, porzioni di cielo molto contenute). La qualità hi-fi del paesaggio sonoro di venezia consente l'ascolto nitido di suoni pianissimo/lontanissimo. Inoltre la stretta vicinanza fisica tra abitanti, imposta dalle piccole dimensioni degli spazi sia urbani che domestici, consente al sussurrato una ambito di esistenza, oramai perduto in molti altri ambiente urbani.

NanoSound
Daniele Pozzi, Giovanni Salice (Conservatory of Padova)

Il concetto ultra-moderno della nano art di rendere visibile l’invisibile è molto simile anche se comprende una diversa sfera sensoriale a quello della sonificazione e in particolare dell’auditory display il cui fine ultimo è quello di agevolare una maggiore comprensione, o apprezzamento, di strutture e cambiamenti intrinseci dei dati che, per una serie di motivi, passerebbero altrimenti inosservati (Thomas Hermann, Andy Hunt, John Neuhoff (Eds.). The Sonification Handbook. Logos Verlag, Berlin, Germany, 2011.). L’obiettivo del progetto è quindi quello di collegare le due diverse concezioni - visiva e sonora - per tentare di rendere “udibile l’invisibile”. In particolare ci si serve delle mappe di dati fornite dalle tabelle provenienti dall’osservazione dei materiali tramite un microscopio a forza atomica che poi, tramite parametri da definire in corso d’opera, vengono trasformate in segnale audio e quindi in suono.

st
Sebastiano Aleo, Francesco Roberto Dani (Conservatory of Padova)

La proposta di studio che si intende sviluppare è rivolta alla progettazione di un'interfaccia interattiva audio-visiva fruibile online. Alla base della ricerca è posta l'interrelazione sensoriale nella percezione dell'uomo: la permeabilità tra le modalità percettive date in certe circostanze dell'esperienza. In questo senso si cercano delle strategie di progettazione del design dell'oggetto che favoriscano e inducano esplicitamente le relazioni tra i domini della percezione sensibile (visivo, auditivo, tattile, motorio). In questo senso è importante definire quali siano le principali caratteristiche del design relativo ad ogni ambito distinguendo inizialmente i livelli di progettazione, cercando di mantenere una visione complessiva di questi nella loro integrazione. La scelta delle proprietà su cui si basa ogni livello è presa in funzione di considerazioni estetiche (scelte formali, compositive) e su basi tecniche relative alle competenze e necessità. Determinante per le decisioni formali è la verifica delle modalità di interazione tra i sistemi, il risultato del loro rapporto reciproco. Un altro aspetto è qualità dell'esperienza di fruizione. A tal proposito si cercano delle strategie atte a rendere facile ed intuitiva l'interazione senza che questa necessiti di spiegazioni linguistiche aggiuntive. I dati che vengono sonificati derivano dal tracking dei parametri relativi alla composizione grafica: la distribuzione spaziale degli elementi, il tipo di forma (dinamica, statica) e inerenti alla distribuzione dei movimenti sull'interfaccia di controllo (trackpad). Il risultato che si cerca di ottenere è uno strumento sul quale l'utente possa sperimentare in forma ludica, l'esplorazione di possibilità compositive con la costruzione e variazione di configurazioni di elementi grafici e sonori.

Sonificazione di sostanze gassose
Michele Seffino (Conservatory of Trieste)

Il sistema rileva la presenza di qualsiasi sostanza gassosa - purché non trasparente - attraverso delle videocamere. I dati ripresi dalla videocamera vengono gestiti mediante Processing (in particolare attraverso la libreria Blob Detection), che in base variazione di luminosità scompone in maniera continua l'immagine in blobs, le cui caratteristiche (larghezza, altezza e numero complessivo di blobs) variano seguendo le evoluzioni del fumo. Le variabili vengono poi convogliate verso software di elaborazione del suono. Gli scopi del sistema sono molteplici: è possibile utilizzarlo come rilevatore di presenza di fumo; o, ancora, può assumere la forma di un'installazione puramente artistica. A seconda del caso segue un differente lavoro di sound design, sviluppando dei suoni con funzione di allarme ovvero elaborando il suono secondo canoni estetici e musicali.