|
Abstract:
|
This thesis introduces a novel situated interactive composition system called the SMuSe(for Situated Music Server) that is grounded on principles of modern cognitive science,provides perceptual control of sound synthesis and includes emotional feedback. Itillustrates both a new music composition paradigm and a synthetic psychologyapproach to the study of music perception, emotion and cognition. The SMuSe iscomposed of cognitively plausible modules implemented as a hierarchy of musicalagents and relies on distributed control, parallelism, emergence and embodiment. Byinteracting with its environment, which provides feedback via multiple sensors, thesystem generates complex adaptive affective musical structures. Focusing on themicro-level of sound generation, we present two complementary techniques that givehigh-level perceptual control over low-level sound synthesis parameters. In a firstimplicit approach, a support vector machine algorithm learns to automatically mapperceptual features such as loudness, pitch and brightness onto additive synthesisparameters. In a second approach, a physically-inspired synthesis model providesexplicit access to perceptual and physical parameters such as pitch, loudness,brightness, attack time, inharmonicity and damping. Moving from the study of musicgeneration and control towards the study of the musical experience itself, we thenevaluate how the music generated by the SMuSe influences the listeners' emotionalresponses. A first psychoacoustics experiment shows the significant influence ofstructural (scale, register, harmony), expressive (velocity, tempo, articulation) andtimbre (brightness, attack time, spectral flux) parameters on the emotional scales ofvalence, arousal and dominance. An additional large scale experiment involvingdementia patients (an illness known to induce cognitive and affective deficits) showsthat specific sound features (e.g. low loudness, low brightness) provoke specificemotional responses within the patients (e.g. low stress). Moreover, the patients'emotional responses differ from the age-matched control group, and the analysisshows an increased emotional sensitivity to sounds as the severity of the diseaseincreases. These results suggest that sound-based therapy and diagnosis for dementiaare possible. Finally, the maturity and flexibility of the SMuSe music system aredemonstrated by a series of real-world applications including the sonification of amixed-reality space, a study on physiologically-based musical interaction, aneurofeedback musical interface, a closed loop system based on reinforcementlearning of emotional feedback, and a large scale multimedia performance usingbrain-computer interfaces. A situated, perceptive, emotive and cognitive approach tothe design of musical systems paves the way for new applications for therapy but alsofor interactive gaming and novel physiologically-based instruments. Our approachprovides a well-grounded paradigm to develop advanced synthetic aesthetics systemthat can inform our understanding of the psychological processes on which they rely.
Esta tesis introduce un nuevo sistema de composición situada e interactivallamado SMuSe (por Situated Music Server). Dicho sistema está basado enprincipios extraídos de la ciencia cognitiva moderna, proporciona controlperceptual sobre la síntesis sonora e incluye feedback emocional. Por lo tanto,ilustra tanto un paradigma nuevo para la composición musical, como unsintético enfoque psicológico al estudio de la percepción musical, lasemociones y la cognición. SMuSe consta de diversos modulos, plausibles desdeun punto de vista cognitivo, implementados como una jerarquía de agentes. Elfuncionamiento de SMuSe explota los principios de control distribuido,paralelismo, emergencia y embodiment. En función del feedback obtenido porla interacción con el entorno, el sistema genera complejas estructurasmusicales afectivas. En concreto, a nivel de generación de sonido, presentamosdos técnicas complementarias que proporcionan un control perceptivo de altonivel sobre parámetros concretos de síntesis sonora. En un primer métodoimplícito, un algoritmo de support vector machine aprende a traducirautomáticamente características perceptuales, como volumen, tono y brillo enparámetros de síntesis aditiva. En el segundo método, un modelo físico desíntesis proporciona explícitamente acceso a parámetros perceptivos y físicos,tales como tono, volumen, brillo, tiempo de ataque, inarmonía y factor deamortiguamiento. En lo que respecta al estudio de la experiencia musical en símisma, evaluamos la influencia de la música generada por SMuSe en lasrespuestas emocionales del sujeto. Un primer experimento psicoacústicomuestra la influencia significativa que tienen parámetros estructurales(escala,registro, armonía), expresivos (velocidad, tempo, articulación) y detimbre (brillo, ataque, flujo espectral) en la escalas emocionales de valencia,activacíon y dominancia. Adicionalmente, un experimento de gran escalarealizado con pacientes de demencia, una patología que asociada a déficitsafectivos y cognitivos, demuestra que los pacientes respondenemocionalmente a rasgos específicos del sonido (e.g. bajo volumen y brilloinducen poca tensión). Además, la respuesta emocional de los pacientes difieresi se compara con la mostrada por un grupo de control con la misma edadmedia. De tal manera, una mayor respuesta emocional aparece asociada a unmayor grado de demencia. Estos resultados sugieren que sería posibledesarrollar técnicas basadas en el uso de música tanto para el tratamiento dela demencia como para su diagnóstico. Para concluir, la madurez y flexibilidadde SMuSe se demuestra con una serie de aplicaciones que incluyen lasonificación de un espacio de realidad mixta, un estudio acerca de lainteracción musical mediante datos fisiológicos, un interfaz musical basado enfeedback neurológico, un sistema basado en aprendizaje por refuerzo delfeedback emocional, y una performance multimedia de gran escala controladamediante interfaces cerebro-máquina. Este enfoque situado, perceptivo,emocional y cognitivo al diseño de sistemas musicales abre la posibilidad dedesarrollar aplicaciones no sólo terapéuticas sino también para los juegosinteractivos y nuevos interfaces que empleen fisiología. Nuestra propuestaproporciona un sólido paradigma para el desarrollo de sistemas de síntesis deestéticas avanzadas, que puedan servir para entender los procesospsicológicos subyacentes
|
