{"id":179,"date":"2007-02-21T15:43:31","date_gmt":"2007-02-21T14:43:31","guid":{"rendered":"http:\/\/www.multimedialab.be\/blog\/?p=179"},"modified":"2010-08-12T17:48:41","modified_gmt":"2010-08-12T16:48:41","slug":"scrapple-de-golan-levin-et-zachary-lieberman","status":"publish","type":"post","link":"http:\/\/www.multimedialab.be\/blog\/?p=179","title":{"rendered":"Scrapple"},"content":{"rendered":"

Apr\u00c3\u00a8s la vision de l’impeccable \u00ab\u00a0Ursonography\u00a0\u00bb de Jaap Blonk & Golan Levin \u00c3\u00a0 Artefact (STUK-Leuven), je replonge dans mes documents li\u00c3\u00a9s \u00c3\u00a0 Golan Levin, et red\u00c3\u00a9couvre son fascinant projet \u00ab\u00a0Scrapple\u00a0\u00bb.<\/p>\n

\"292870176_263647e784_b_482.jpg\"<\/p>\n

<\/p>\n

Pr\u00c3\u00a9ambule et objectif de cet article :
\nCette pr\u00c3\u00a9sentation de Scrapple introduit au principe g\u00c3\u00a9n\u00c3\u00a9ral de TUI (Tangible User Interface) applicable (notamment) \u00c3\u00a0 PROCESSING gr\u00c3\u00a2ce \u00c3\u00a0 la librairie reacTIVision de Martin Kaltenbrunner et Ross Bencina.
\nLien : http:\/\/mtg.upf.es\/reactable\/?software#files%20<\/a><\/em><\/p>\n

Un spectrogramme est un diagramme associant \u00c3\u00a0 chaque instant d’un signal, son spectre de fr\u00c3\u00a9quence. Dans son format le plus courant, l’axe horizontal repr\u00c3\u00a9sente le temps et l’axe vertical la fr\u00c3\u00a9quence. Chaque point \u00c3\u00a0 l’int\u00c3\u00a9rieur du graphique est dot\u00c3\u00a9 d’une certaine intensit\u00c3\u00a9 qui indique l’amplitude (en d\u00c3\u00a9cibels) d’une fr\u00c3\u00a9quence particuli\u00c3\u00a8re \u00c3\u00a0 un temps donn\u00c3\u00a9 (Voir Wikipedia<\/a>).<\/p>\n

Scrapple, de Golan Levin et Zachary Lieberman, est une performance et\/ou une installation interactive, interpr\u00c3\u00a9tant des objets quotidiens plac\u00c3\u00a9s sur une table comme marqueurs sonores au sein d’une \u00ab\u00a0partition active\u00a0\u00bb. Autrement dit, Scrapple scanne une surface plane comme si il s’agissait d’une partition musicale \u00ab\u00a0spectographique\u00a0\u00bb, en produisant le son en temps r\u00c3\u00a9el \u00c3\u00a0 partir des objets se trouvant sous l’oeil de la camera. Dans ce cas, Golan Levin utilise un spectogramme comme interface d’input.<\/p>\n

SCRAPPLE a \u00c3\u00a9t\u00c3\u00a9 pr\u00c3\u00a9sent\u00c3\u00a9 \u00c3\u00a0 Ars Electronica (Linz, Autriche) en 2005. La table de 3 m\u00c3\u00a8tres de long produisait une boucle sonore de 4 secondes, permettant aux utilisateurs d’exp\u00c3\u00a9rimenter librement une composition interactive et audiovisuelle \u00c3\u00a0 partir d’\u00c3\u00a9l\u00c3\u00a9ments tangibles.<\/p>\n

\"370659763_5eef8d134d_o_482.jpg\"<\/p>\n

\"fe_2005_scrapple0019_003_p_482.jpg\"<\/p>\n

Le dispositif utilise une vari\u00c3\u00a9t\u00c3\u00a9 de formes ludiques. En particulier, de longues courbes flexibles permettent la cr\u00c3\u00a9ation de m\u00c3\u00a9lodies. Ce type d’objet plac\u00c3\u00a9 de mani\u00c3\u00a8re transversale sur la largeur de la table g\u00c3\u00a9n\u00c3\u00a8re des tonalit\u00c3\u00a9s dont les fr\u00c3\u00a9quences sont r\u00c3\u00a9parties sur huit octaves (de bas en haut). Un assemblage de feutre de formes simples, ou de petits objets produisent des rythmes, couvrant un champ de fr\u00c3\u00a9quences plus ou moins large en fonction de la zone recouverte. Plus un objet est sombre, plus fort est le son produit, etc.<\/p>\n

\"303699724_2fd4bfe29f_b_482.jpg\"<\/p>\n

La projection de la grille est facultative et param\u00c3\u00a9trable, elle \u00ab\u00a0mat\u00c3\u00a9rialise\u00a0\u00bb le software sur la table. Le halo lumineux atteste de la reconnaissance de l’objet (certains objets peuvent \u00c3\u00aatre trop petits pour \u00c3\u00aatre reconnus, en fonction du seuil de vision attribu\u00c3\u00a9 \u00c3\u00a0 la cam\u00c3\u00a9ra). L’intensit\u00c3\u00a9 du halo lumineux d\u00c3\u00a9cro\u00c3\u00aet graduellement lorsque l’objet a provoqu\u00c3\u00a9 un son, ce qui permet un rep\u00c3\u00a8re visuel sur le tempo et le timing du syst\u00c3\u00a8me. Il est tout autant possible de dessiner des formes que de manipuler des objets, la surface \u00c3\u00a9tant de type \u00ab\u00a0\u00c3\u00a9cran blanc effa\u00c3\u00a7able\u00a0\u00bb.<\/p>\n

\"303702450_cf6270326c_b_482.jpg\"<\/p>\n

La r\u00c3\u00a9solution d’\u00c3\u00a9chantillonnage pour une table de 200 X 50 cm est approximativement de 4 ou 5 camera-pixels pour 1 cm de table. Comme chaque pixel devient potentiellement un g\u00c3\u00a9n\u00c3\u00a9rateur de son, un \u00ab\u00a0seuil de capture \u00ab\u00a0a \u00c3\u00a9t\u00c3\u00a9 \u00c3\u00a9tabli pour \u00ab\u00a0nettoyer\u00a0\u00bb le syst\u00c3\u00a8me d’\u00c3\u00a9ventuels perturbations dues \u00c3\u00a0 l’\u00c3\u00a9clairage ambiant ou aux formes impr\u00c3\u00a9cises ou trop p\u00c3\u00a2les.<\/p>\n

L’application Scrapple est \u00c3\u00a9crite en C++ et utilise notamment la librairie OpenGL.<\/p>\n

La capture est effectu\u00c3\u00a9e avec une image de 640 X 480 pixels \u00c3\u00a0 60 frames\/sec, \u00c3\u00a0 l’aide d’une camera Firewire monochrome.<\/p>\n

La table est \u00c3\u00a9clair\u00c3\u00a9e par une source infrarouge pour renforcer sa visibilit\u00c3\u00a9 par la cam\u00c3\u00a9ra et \u00c3\u00a9viter les confusions provoqu\u00c3\u00a9es par la projection (grille, etc). La cam\u00c3\u00a9ra utilise un filtre infrarouge pour trier les informations n\u00c3\u00a9cessaires, de mani\u00c3\u00a8re \u00c3\u00a0 ne percevoir que les indications utiles \u00c3\u00a0 la d\u00c3\u00a9tection pr\u00c3\u00a9cise des formes. <\/p>\n

Le plan ci-dessous reprend les \u00c3\u00a9tapes du processus. Il est extrait d’une documentation technique t\u00c3\u00a9l\u00c3\u00a9chargeable via multimedialab.be :<\/p>\n

http:\/\/www.multimedialab.be\/doc\/art\/golan_levin_scrapple.zip<\/a><\/p>\n

\"levin_scrapple_1200dpi_482.jpg\"<\/p>\n

\"303612857_e2fb49055f_b_482.jpg\"<\/p>\n

\"303613240_40e90111cb_b_482.jpg\"<\/p>\n

La capture de l’image est dot\u00c3\u00a9e d’une correction de perspective :<\/p>\n

\"scrapple_lens_correction_482.jpg\"<\/p>\n

Un extrait d’une performance de Golan Levin (MonkeyTown performance space, Brooklyn) :<\/p>\n

<\/param><\/param><\/embed><\/object><\/p>\n

Autre extrait :<\/p>\n

<\/param><\/param><\/embed><\/object><\/p>\n

Scrapple sur le site de Golan Levin :
\nhttp:\/\/www.flong.com\/resume\/projects.html<\/a><\/p>\n

Le PDF hi-res :
\nhttp:\/\/www.flong.com\/writings\/articles\/levin_scrapple_20060320_1200dpi.pdf<\/a><\/p>\n

–
\nInformations et ressources en lignes mentionn\u00c3\u00a9es par Golan Levin :<\/p>\n

Lens Correction and Distortion, Paul Bourke :
\nhttp:\/\/astronomy.swin.edu.au\/~pbourke\/projection\/lenscorrection\/index.html<\/a><\/p>\n

Adaptive Thresholding, Robert Fisher :
\nhttp:\/\/homepages.inf.ed.ac.uk\/rbf\/HIPR2\/adpthrsh.htm<\/a><\/p>\n

The Pattern Playback, Philip Rubin & Louis Goldstein :
\nhttp:\/\/www.haskins.yale.edu\/featured\/patplay.html<\/a><\/p>\n

The UPIC System, Paul A.R. Timmermans
\nhttp:\/\/membres.lycos.fr\/musicand\/INSTRUMENT\/DIGITAL\/UPIC\/UPIC.htm<\/a><\/p>\n

Illuminating Light: An Optical Design Tool with a Luminous-Tangible Interface,
\nJohn Underkoffler and Hiroshi Ishii, Tangible Media Group :
\nhttp:\/\/tangible.media.mit.edu\/papers\/Illuminating_Light_CHI98.php<\/a>
\n–<\/p>\n

Voir aussi The Manual Input Session.<\/a><\/p>\n

Voir des images sur le Flickr de Golan :
\nhttp:\/\/flickr.com\/photos\/golanlevin\/sets\/<\/a><\/p>\n

Une interview de Golan Levin :
\nhttp:\/\/www.ciac.ca\/magazine\/archives\/no_19\/entrevue.htm<\/a><\/p>\n

Voir le site de Zachary Lieberman<\/strong>, collaborateur de Golan Levin :
\nhttp:\/\/thesystemis.com\/<\/a><\/p>\n

Voir les videos de Zachary Lieberman sur YouTube :
\nhttp:\/\/www.youtube.com\/profile?user=thesystemis<\/a><\/p>\n

Sue Costabile<\/strong> collabore occasionnellement avec Golan Levin pour des performances sonores autour de Scrapple (elle utilise surtout Jitter pour ses propres productions). Voir son site : http:\/\/www.sue-c.net\/<\/a><\/p>\n

D’autres projets utilisant une surface (une table) et des objets ou interfaces tangibles :<\/p>\n

Voir \u00ab\u00a0Tangible musical interfaces – Music tables\u00a0\u00bb<\/a> par Martin Kaltenbrunner.<\/p>\n

Voir reacTIVision<\/a>, une librairie multi-plateforme d\u00c3\u00a9di\u00c3\u00a9e \u00c3\u00a0 la d\u00c3\u00a9tection de marqueurs pour des projets de tables r\u00c3\u00a9actives (interfaces tangibles). Int\u00c3\u00a9ressant : parmi les nombreuses plateformes de d\u00c3\u00a9veloppement support\u00c3\u00a9es, on y trouve PROCESSING !!<\/p>\n

Voir \u00ab\u00a0A list of interactive tables\u00a0\u00bb<\/a> par Nicolas Nova.<\/p>\n","protected":false},"excerpt":{"rendered":"

Apr\u00c3\u00a8s la vision de l’impeccable \u00ab\u00a0Ursonography\u00a0\u00bb de Jaap Blonk & Golan Levin \u00c3\u00a0 Artefact (STUK-Leuven), je replonge dans mes documents li\u00c3\u00a9s \u00c3\u00a0 Golan Levin, et red\u00c3\u00a9couvre son fascinant projet \u00ab\u00a0Scrapple\u00a0\u00bb.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6,36,29,52,14,18],"tags":[],"class_list":["post-179","post","type-post","status-publish","format-standard","hentry","category-installations","category-interactivite","category-interfaces","category-musique","category-processing","category-son"],"_links":{"self":[{"href":"http:\/\/www.multimedialab.be\/blog\/index.php?rest_route=\/wp\/v2\/posts\/179","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/www.multimedialab.be\/blog\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/www.multimedialab.be\/blog\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/www.multimedialab.be\/blog\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/www.multimedialab.be\/blog\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=179"}],"version-history":[{"count":0,"href":"http:\/\/www.multimedialab.be\/blog\/index.php?rest_route=\/wp\/v2\/posts\/179\/revisions"}],"wp:attachment":[{"href":"http:\/\/www.multimedialab.be\/blog\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=179"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/www.multimedialab.be\/blog\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=179"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/www.multimedialab.be\/blog\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=179"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}