Musical interaction based on the conductor metaphor

Abstract

Interface metaphors are often used in Human Computer Interaction (HCI) to exploit knowledge that users already have from other domains. A commonly used one in Digital Musical Instruments (DMIs) is the conductor metaphor. We theorize that part of the knowledge that users have from the domain that the interface metaphor replicates is user-specific. In this context, we argue that systems using an interface metaphor can see their usability improved by adapting to this user-specific knowledge. We propose strategies to design motion-sound mappings for DMIs that draw upon the conductor metaphor by adapting to personal nuances that can be automatically computed from spontaneous conducting movements. In addition to the above, we study the potential of the conductor metaphor in a gaming context as a mean to raise interest for classical music. These contributions are complemented by the data collected in all observational studies, which is made publicly available to the community

Las metáforas de interfaz se utilizan habitualmente en la interacción persona-ordenador para explotar el conocimiento que los usuarios tienen de otros dominios. Una comúnmente utilizada en instrumentos musicales digitales (DMIs) es la metáfora del director. Argumentamos que parte del conocimiento que los usuarios tienen del dominio que la metáfora replica es específico de cada usuario. En este contexto, proponemos que sistemas que hacen uso de metáforas de interfaz pueden mejorar su usabilidad adaptándose a este conocimiento específico. Implementamos estrategias para diseñar mapeos entre movimiento y sonido para DMIs basados en la metáfora del director, mediante la adaptación a matices personales que pueden ser automaticamente extraídos analizando movimientos de dirección espontáneos. Además, estudiamos el potencial de la metáfora del director en un contexto de juego, como medio para incrementar el interés por la música clásica. Estas contribuciones se complementan con los datos recopilados en los estudios observacionales, que se ponen a disposicion pública para la comunidad.

Programa de doctorat en Tecnologies de la Informació i les Comunicacions