multimedialabpoule

Scrapple

Après la vision de l’impeccable « Ursonography » de Jaap Blonk & Golan Levin à Artefact (STUK-Leuven), je replonge dans mes documents liés à Golan Levin, et redécouvre son fascinant projet « Scrapple ».

292870176_263647e784_b_482.jpg

Préambule et objectif de cet article :
Cette présentation de Scrapple introduit au principe général de TUI (Tangible User Interface) applicable (notamment) à PROCESSING grâce à la librairie reacTIVision de Martin Kaltenbrunner et Ross Bencina.
Lien : http://mtg.upf.es/reactable/?software#files%20

Un spectrogramme est un diagramme associant à chaque instant d’un signal, son spectre de fréquence. Dans son format le plus courant, l’axe horizontal représente le temps et l’axe vertical la fréquence. Chaque point à l’intérieur du graphique est doté d’une certaine intensité qui indique l’amplitude (en décibels) d’une fréquence particulière à un temps donné (Voir Wikipedia).

Scrapple, de Golan Levin et Zachary Lieberman, est une performance et/ou une installation interactive, interprétant des objets quotidiens placés sur une table comme marqueurs sonores au sein d’une « partition active ». Autrement dit, Scrapple scanne une surface plane comme si il s’agissait d’une partition musicale « spectographique », en produisant le son en temps réel à partir des objets se trouvant sous l’oeil de la camera. Dans ce cas, Golan Levin utilise un spectogramme comme interface d’input.

SCRAPPLE a été présenté à Ars Electronica (Linz, Autriche) en 2005. La table de 3 mètres de long produisait une boucle sonore de 4 secondes, permettant aux utilisateurs d’expérimenter librement une composition interactive et audiovisuelle à partir d’éléments tangibles.

370659763_5eef8d134d_o_482.jpg

fe_2005_scrapple0019_003_p_482.jpg

Le dispositif utilise une variété de formes ludiques. En particulier, de longues courbes flexibles permettent la création de mélodies. Ce type d’objet placé de manière transversale sur la largeur de la table génère des tonalités dont les fréquences sont réparties sur huit octaves (de bas en haut). Un assemblage de feutre de formes simples, ou de petits objets produisent des rythmes, couvrant un champ de fréquences plus ou moins large en fonction de la zone recouverte. Plus un objet est sombre, plus fort est le son produit, etc.

303699724_2fd4bfe29f_b_482.jpg

La projection de la grille est facultative et paramétrable, elle « matérialise » le software sur la table. Le halo lumineux atteste de la reconnaissance de l’objet (certains objets peuvent être trop petits pour être reconnus, en fonction du seuil de vision attribué à la caméra). L’intensité du halo lumineux décroît graduellement lorsque l’objet a provoqué un son, ce qui permet un repère visuel sur le tempo et le timing du système. Il est tout autant possible de dessiner des formes que de manipuler des objets, la surface étant de type « Ã©cran blanc effaçable ».

303702450_cf6270326c_b_482.jpg

La résolution d’échantillonnage pour une table de 200 X 50 cm est approximativement de 4 ou 5 camera-pixels pour 1 cm de table. Comme chaque pixel devient potentiellement un générateur de son, un « seuil de capture « a été établi pour « nettoyer » le système d’éventuels perturbations dues à l’éclairage ambiant ou aux formes imprécises ou trop pâles.

L’application Scrapple est écrite en C++ et utilise notamment la librairie OpenGL.

La capture est effectuée avec une image de 640 X 480 pixels à 60 frames/sec, à l’aide d’une camera Firewire monochrome.

La table est éclairée par une source infrarouge pour renforcer sa visibilité par la caméra et éviter les confusions provoquées par la projection (grille, etc). La caméra utilise un filtre infrarouge pour trier les informations nécessaires, de manière à ne percevoir que les indications utiles à la détection précise des formes.

Le plan ci-dessous reprend les étapes du processus. Il est extrait d’une documentation technique téléchargeable via multimedialab.be :

http://www.multimedialab.be/doc/art/golan_levin_scrapple.zip

levin_scrapple_1200dpi_482.jpg

303612857_e2fb49055f_b_482.jpg

303613240_40e90111cb_b_482.jpg

La capture de l’image est dotée d’une correction de perspective :

scrapple_lens_correction_482.jpg

Un extrait d’une performance de Golan Levin (MonkeyTown performance space, Brooklyn) :

Autre extrait :

Scrapple sur le site de Golan Levin :
http://www.flong.com/resume/projects.html

Le PDF hi-res :
http://www.flong.com/writings/articles/levin_scrapple_20060320_1200dpi.pdf


Informations et ressources en lignes mentionnées par Golan Levin :

Lens Correction and Distortion, Paul Bourke :
http://astronomy.swin.edu.au/~pbourke/projection/lenscorrection/index.html

Adaptive Thresholding, Robert Fisher :
http://homepages.inf.ed.ac.uk/rbf/HIPR2/adpthrsh.htm

The Pattern Playback, Philip Rubin & Louis Goldstein :
http://www.haskins.yale.edu/featured/patplay.html

The UPIC System, Paul A.R. Timmermans
http://membres.lycos.fr/musicand/INSTRUMENT/DIGITAL/UPIC/UPIC.htm

Illuminating Light: An Optical Design Tool with a Luminous-Tangible Interface,
John Underkoffler and Hiroshi Ishii, Tangible Media Group :
http://tangible.media.mit.edu/papers/Illuminating_Light_CHI98.php

Voir aussi The Manual Input Session.

Voir des images sur le Flickr de Golan :
http://flickr.com/photos/golanlevin/sets/

Une interview de Golan Levin :
http://www.ciac.ca/magazine/archives/no_19/entrevue.htm

Voir le site de Zachary Lieberman, collaborateur de Golan Levin :
http://thesystemis.com/

Voir les videos de Zachary Lieberman sur YouTube :
http://www.youtube.com/profile?user=thesystemis

Sue Costabile collabore occasionnellement avec Golan Levin pour des performances sonores autour de Scrapple (elle utilise surtout Jitter pour ses propres productions). Voir son site : http://www.sue-c.net/

D’autres projets utilisant une surface (une table) et des objets ou interfaces tangibles :

Voir « Tangible musical interfaces – Music tables » par Martin Kaltenbrunner.

Voir reacTIVision, une librairie multi-plateforme dédiée à la détection de marqueurs pour des projets de tables réactives (interfaces tangibles). Intéressant : parmi les nombreuses plateformes de développement supportées, on y trouve PROCESSING !!

Voir « A list of interactive tables » par Nicolas Nova.


1 comment for “Scrapple”

  1. Scrapple (Installation) РTangible interface by Golan Levin | Augmented Space - Espace Augment̩ dit :

    […] For further information see medialab blog (Marc Wathieu – ERG/HEAJ – Belgium – French). […]

Post a comment

You must be connected to post a comment.