Analysis of ensemble expressive performance in string quartets: a statistical and machine learning approach

Abstract

Computational approaches for modeling expressive music performance have produced systems that emulate human expression, but few steps have been taken in the domain of ensemble performance. Polyphonic expression and inter-dependence among voices are intrinsic features of ensemble performance and need to be incorporated at the very core of the models. For this reason, we proposed a novel methodology for building computational models of ensemble expressive performance by introducing inter-voice contextual attributes (extracted from ensemble scores) and building separate models of each individual performer in the ensemble. We focused our study on string quartets and recorded a corpus of performances both in ensemble and solo conditions employing multi-track recording and bowing motion acquisition techniques. From the acquired data we extracted bowed-instrument-specific expression parameters performed by each musician. As a preliminary step, we investigated over the difference between solo and ensemble from a statistical point of view and show that the introduced inter-voice contextual attributes and extracted expression are statistically sound. In a further step, we build models of expression by training machine-learning algorithms on the collected data. As a result, the introduced inter-voice contextual attributes improved the prediction of the expression parameters. Furthermore, results on attribute selection show that the models trained on ensemble recordings took more advantage of inter-voice contextual attributes than those trained on solo recordings. The obtained results show that the introduced methodology can have applications in the analysis of collaboration among musicians.

L’estudi de l’expressivitat musical ha produït models computacionals capaços d’emular l’expressivitat humana, però aquests models encara no es poden aplicar al cas dels conjunts musicals. Per estudiar l’expressivitat dels conjunts musicals, s’han de tenir en compte dues característiques principals: l’expressió polifònica i la interdependència entre veus. Per aquesta raó, proposem una nova metodologia que es basa en la introducció d’una sèrie d’atributs intervocals, que hem extret de la partitura, que es poden utilitzar per construir models d’expressivitat individuals per a cada un dels músics. Hem col•leccionat un conjunt de peces musicals a partir de l’enregistrament multipista i de la captura de moviments d’un quartet de cordes, en un corpus que recull peces concretes tocades tant en grup com individualment. D’aquestes dades, hem extret diversos paràmetres que descriuen l’expressivitat per a cada un dels músics d’un conjunt de corda. El primer pas ha estat estudiar, des d’un punt de vista estadístic, les diferències entre l’actuació d’una mateixa peça tant en solitari com en grup. Després, hem estudiat les relacions estadístiques entre els atributs intervocals i els paràmetres d’expressivitat. A continuació, hem construït models d’expressivitat a partir de la utilització d’algoritmes d’aprenentatge automàtic amb les dades col•leccionades. Com a resultat, els atributs intervocals que hem proposat han millorat la predicció del paràmetres d’expressivitat. Hem pogut demostrar com aquests models que han après d’actuacions en grup utilitzen més atributs intervocals que aquells que ho han fet d’actuacions en solitari. Aquests resultats mostren que la metodologia i models introduïts es poden aplicar en l’anàlisi de la col•laboració entre membres d’un conjunt musical.

El estudio de la expresividad musical ha producido modelos computacionales capaces de emular la expresividad humana, pero estos modelos todavía no se pueden aplicar al caso de los conjuntos musicales. Para estudiar la expresividad de los conjuntos musicales, se deben tener en cuenta dos características principales: la expresión polifónica y la interdependencia entre voces. Por esta razón, proponemos una nueva metodología que se basa en la introducción de una serie de atributos intervocales, que hemos extraído de la partitura, que se pueden utilizar para construir modelos de expresividad individuales para cada uno de los músicos. Hemos coleccionado un conjunto de piezas musicales a partir de la grabación multipista y de la captura de movimientos de un cuarteto de cuerdas, en un corpus que recoge piezas concretas tocadas tanto en grupo como individualmente. De estos datos, hemos extraído varios parámetros que describen la expresividad para cada uno de los músicos de un conjunto de cuerdas. El primer paso ha sido estudiar, desde un punto de vista estadístico, las diferencias entre la actuación de una misma pieza tanto en solitario como en grupo. Después, hemos estudiado las relaciones estadísticas entre los atributos intervocales y los parámetros de expresividad. A continuación, hemos construido modelos de expresividad a partir de la utilización de algoritmos de aprendizaje automático con los datos coleccionados. Como resultado, los atributos intervocales que hemos propuesto han mejorado la predicción de los parámetros de expresividad. Hemos podido demostrar cómo estos modelos que han aprendido de actuaciones en grupo utilizan más atributos intervocales que aquellos que lo han hecho de actuaciones en solitario. Estos resultados muestran que la metodología y modelos introducidos se pueden aplicar en el análisis de la colaboración entre miembros de un conjunto musical.

Programa de doctorat en Tecnologies de la Informació i les Comunicacions