Also available in English

Inf@Vis!

La revista digital de InfoVis.net

Reactable
por Juan C. Dürsteler [mensaje nº 189]

Reactable es un instrumento musical electrónico que combina las prestaciones de un sintetizador modular con una interfaz multi-tactil basada en objetos tangibles. Ello permite crear una experiencia cognitiva en tiempo real en la que la información que se visualiza representa el patrón de sonido que se quiere crear y en la que se aúna cognición con percepción visual, táctil y auditiva.
Reactable2.gif (361064 bytes)
Reactable: dos personas interactuando con la interfaz del sintetizador, produciendo y transformando sonidos.
Fuente: Cortesía de S. Jordá Grupo de Tecnología Musical Universitat Pompeu Fabra.
Pulsa sobre la imagen para agrandarla.

Reactable es un notable instrumento musical electrónico pensado para crear música cooperativamente mediante una interfaz táctil que permite detectar toques múltiples de los usuarios de la misma. De forma simplificada podríamos decir que es un sintetizador modular clásico provisto de una potente y creativa interfaz tangible y multi-táctil.

Más en concreto Reactable es una mesa redonda de superficie translúcida, que hace las veces de pantalla para un proyector que reside en su interior y que proyecta sobre la misma diversas formas y patrones de onda en respuesta a la interacción de los usuarios. Estos controlan la mesa situando objetos de diversas formas y con distintos efectos sonoros sobre la superficie de la mesa. Cada uno de los objetos representa un componente de un sintetizador modular .

La mesa está iluminada desde abajo mediante luz infrarroja cuyo reflejo en la superficie interior de la mesa es captado por una cámara que detecta la posición de los objetos, su codificación distintiva y la situación y movimiento de los dedos de los usuarios cuando tocan la superficie. De esta forma la información visual proyectada y la que se capta de la interacción van por canales de frecuencias espectrales distintas y no se interfieren.

Según Sergi Jordà director del proyecto en el que han trabajado un equipo de luthiers digitales, en Reactable todo lo relevante se muestra y todo lo que se muestra es relevante para el manejo del instrumento. Así cuando colocamos en la mesa un objeto "onda cuadrada", entre el objeto y el centro de la mesa se dibuja en tiempo real la onda exacta que está generando el sintetizador. 

Variando la orientación y la situación del objeto podemos cambiar su comportamiento, por ejemplo la frecuencia del sonido que produce o las propiedades de su rango de actuación si lo que hace no es producir una onda sonora sino modificar o filtrar el sonido que se está produciendo. Un arco luminoso que rodea al objeto en cuanto lo colocamos sobre la mesa nos indica en que punto de su rango de frecuencias o de actuación está situado el output del sintetizador. Un punto luminoso que podemos "capturar" con el dedo permite aumentar o disminuir el volumen de sonido que emite. Todo ello se dibuja dinámicamente en tiempo real de modo que, por ejemplo, las ondas vibran y los pulsos se transfieren de unos lugares a otros de forma realista.

Onda_cuadrada.gif (178179 bytes) Reactable1.gif (244290 bytes)
Reactable: dos instantáneas de diversas configuraciones con objetos planos. En primer término a la izquierda un generador de onda cuadrada muestra la onda que está produciendo. A la derecha se puede apreciar objetos planos y cúbicos junto con la codificación de puntos que permite al sistema reconocer las funciones de los mismos.
Fuente: Cortesía de S. Jordá Grupo de Tecnología Musical Universitat Pompeu Fabra.
Pulsa sobre la imagen para agrandarla.

Reactable detecta la posición de nuestros dedos cuando tocan la superficie de la mesa, lo que nos permite modificar el "dial" de cada objeto, como ya hemos visto, pero también podemos dibujar el tipo de onda que queremos obtener sin más que mover el dedo apropiadamente al lado del generador de ondas que nos interese. Tambien podemos parar temporalmente el flujo de sonido colocando la punta del dedo encima de la imagen de una onda o "cortar" permanentemente una conexión entre dos objetos cruzando con el dedo por encima de la misma.

Objetos.gif (385195 bytes)
Distintos Tipos de Objetos en Reactable. Se aprecian láminas planas con distintas formas y cubos con múltiples funciones. Nótese en estos últimos los identificadores que permiten al sistema conocer lo que se pretende programar.
Fuente: Cortesía de S. Jordá Grupo de Tecnología Musical Universitat Pompeu Fabra.
Pulsa sobre la imagen para agrandarla.

Los objetos pueden ser láminas planas con distintas formas en su periferia o bien simples cubos. Hay cuadrados, cuadrados de puntas romas, pentágonos, y otras formas. Cada objeto lleva un icono en la parte superior que lo identifica para los humanos y una codificación en la parte inferior, visible para el sistema cuando posicionamos el objeto sobre la mesa. Los cubos tienen un identificador distinto en cinco de sus caras (la sexta es para el icono reconocible por humanos) y son como un almacén de funcionalidades ya que actúan de forma diferente según qué cara esté en contacto con la mesa. 

Algunos objetos se pueden programar colocando a su lado un papel con el código correspondiente de forma que el objeto es reconocido en adelante con la funcionalidad que se le acaba de adscribir, por ejemplo una muestra de piano o cualquier otro instrumento.

Sería prolijo explicar aquí las funcionalidades en detalle. El lector interesado puede consultar el artículo de Jordà, Geiger, Alonso y Kaltenbrunner. Pero además es que no hace falta porque el objetivo declarado de Reactable es, entre otras cosas, ser intuitivo y no necesitar manual de instrucciones. Veamos en detalle lo que pretende ser 

  • cooperativo: Varios usuarios tocando a la vez, local o remotamente

  • intuitivo: cero manual, cero instruciones

  • retador e interesante desde el punto de vista de generación de sonido

  • aprensible y que se pueda llegar a tener maestría, incluso por parte de niños

  • adecuado para novatos (instalaciones) y músicos electrónicos avanzados (conciertos)

La verdad es que la experiencia de tocar con este instrumento es a la par interesante y gratificante. Resulta fácil conseguir sonidos y pequeñas melodías en una primera sesión simplemente jugando con los objetos y los sonidos que producen y modifican. Según Jordà con una buena dosis de práctica se consiguen resultados notables.

Quizá por ello la cantante islandesa Björk está utilizando este instrumento en el contexto de su gira "Volta" y ya se ha podido ver el efecto de su uso en el festival de Coachella 2007 del que se pueden descargar algunos videos en Youtube, página que ha proporcionado una notable visibilidad a Reactable desde que se subieron una serie de videos demostrativos.

Björk usando Reactable en dos canciones de su gira "Volta" 
Fuente: Tal como se puede ver en los vídeos del festival de Coachella 2007 en Youtube.
Pulsa sobre la imagen para agrandarla 

Reactable es un destacable ejemplo entre una larga lista de proyectos de contenido y objetivos similares que utilizan interfaces táctiles multiusuario basadas en objetos tangibles. 

Resulta muy interesante el hecho de que aquí la información que se visualiza permite conocer las ondas que estamos generando así como los filtros y su resultado de forma que visualización e interacción forman un bucle que se realimenta en tiempo real mientras oímos el resultado de los patrones visuales que estamos creando. Todo ello conforma un tejido cognitivo en el que la visión, la audición y el tacto se combinan en una experiencia cognitiva unificada de composición musical.


Este instrumento se ha desarrollado bajo la dirección de Sergi Jordà y su equipo que froman parte del Grupo de Tecnología Musical dentro del Instituto Audiovisual de la Universitat Pompeu Fabra en Barcelona, España

Enlaces de este artículo:

http://mtg.upf.edu/   Grupo de Tecnología Musical (UPF)
http://www.iua.upf.edu/~sergi   Página personal de Sergi Jordà
http://mtg.upf.edu/reactable?team   El equipo de luthiers digitales de Reactable
http://mtg.upf.edu/reactable/pdfs/reactable_tei2007.pdf   Articulo sobre Reactable
http://www.youtube.com/watch?v=aM8SXfB5NHg   Video de Björk con Reactable en Youtube
http://www.youtube.com/results?search_query=reactable   Todos los videos de reactable en Youtube
http://mtg.upf.edu/reactable/?related    Proyectos relacionados con Reactable
http://www.iua.upf.edu   Web del Instituto Audiovisual de la UPF
http://www.upf.edu   Universitat Pompeu Fabra en Barcelona
© Copyright InfoVis.net 2000-2018