A machine learning approach to computer modeling of musical expression for performance learning and practice

Muneratti Ortega, Fábio José

A machine learning approach to computer modeling of musical expression for performance learning and practice

Document Type

Doctoral thesis
Published Version

Author

Muneratti Ortega, Fábio José

Director

Ramírez, Rafael

Publication Date

2022-03-11

Pages

115 p.

License

Citation

Muneratti Ortega, F. A machine learning approach to computer modeling of musical expression for performance learning and practice. Universitat Pompeu Fabra; 2022. handle: http://hdl.handle.net/10803/674200

This citation was generated automatically.

Doctoral program

Programa de doctorat en Tecnologies de la Informació i les Comunicacions

Abstract

Aquesta tesi tracta sobre el disseny i la implementació de sistemes informàtics per a l'execució musical expressiva (CSEMP), explorant diferents mètodes de l'aprenentatge automàtic i reflexionant sobre el paper de l'estructura musical en el descobriment de patrons d'actuació, així com l'aplicabilitat de cada sistema en un entorn pedagògic. Es descriuen i s'avaluen tres models: el primer d'ells utilitza una mesura de similitud de frases; el segon, una evolució de l'anterior amb característiques d'actuació parametritzades; i l'últim, un model d'aprenentatge profund amb codificació seqüencial de la informació musical. Els resultats demostren que els enfocaments més senzills a nivell de frase poden generar actuacions estimulants amb conjunts de dades petits i que l'enfocament d'aprenentatge profund pot aconseguir prediccions d'alta precisió sobre la interpretació de peces musicals. Les seves anàlisis també destaquen els reptes de dissenyar sistemes per a instruments més enllà del piano. El potencial pedagògic dels entorns tecnològicament millorats s'aborda amb la proposta i l'avaluació pilot d'un mètode de pràctica d'actuació mitjançant el programari SkyNote.
This thesis deals with the design and implementation of computer systems for expressive music performance (CSEMP), exploring different methods from machine learning and reflecting on the role of musical structure in the emergence of performance patterns, as well as the applicability of each approach in a pedagogical setting. Three models are described and evaluated: a lazy learning approach using a phrase similarity measure, an evolution of the previous with parameterized performance features, and a deep-learning model with sequential encoding of musical information. Results demonstrate that the simpler phrase-level approaches can generate stimulating performances with small datasets, and that the deep-learning approach can achieve high accuracy predicting performance information. Their analyses also highlight the challenges of designing systems for instruments beyond the piano. The pedagogical potential of technologically-enhanced settings is addressed with the proposal and pilot evaluation of a performance practice method using the SkyNote software.

Keywords

Expressió musical, Modelització d'interpretacions, Aprenentatge automàtic, Educació musical, Music expression, Performance modeling, Machine learning, Music education