Design, development, and deployment of real-time drum accompaniment systems

Abstract

This dissertation examines the generation of real-time symbolic drum accompaniments, with a particular focus on live improvisation contexts. While the research does occasionally focus on the audio domain, the majority of the research is centered on symbolic-to-symbolic systems. This dissertation addresses real-time drum accompaniment from multiple perspectives: (1) conceptual, where a target application is designed based on a set of specified requirements, (2) architectural, where specific generative models are designed and developed for the selected conceptual design, and (3) from a deployment aspect, where the conceptual design is realized and evaluated. Throughout this work, three accompaniment systems were developed and refined. As a secondary outcome, this research also produced NeuralMidiFx, a toolkit designed to streamline the integration of generative neural networks into \acrshort{vst} plugins. Furthermore, two novel datasets, TapTamDrum and El Bongosero, were collected to support future research in areas ranging from rhythm perception to music generation.Aquesta tesi examina la generació d’acompanyaments de bateria simbòlica en temps real, amb un enfocament particular en contexts d’improvisació en directe. Tot i que la recerca es centra ocasionalment en l'àudio, la major part s’enfoca en sistemes simbòlic-a-simbòlic. Aquesta dissertació aborda l'acompanyament de bateria en temps real des de múltiples perspectives: (1) conceptual, on es dissenya una aplicació basada en requisits específics, (2) arquitectònica, on es desenvolupen models generatius per al disseny seleccionat, i (3) de desplegament, on el disseny es realitza i s'avalua. Al llarg d'aquest treball, s'han desenvolupat i perfeccionat tres sistemes d'acompanyament. A més, la recerca ha donat lloc a NeuralMidiFx, una eina per facilitar la integració de xarxes neuronals generatives en VSTs. També es van crear dos conjunts de dades, TapTamDrum i El Bongosero, per donar suport a futures investigacions en percepció rítmica i generació musical.Esta tesis examina la generación de acompañamientos de batería simbólica en tiempo real, con un enfoque particular en contextos de improvisación en vivo. Aunque la investigación cubre ocasionalmente el dominio del audio, la mayor parte se centra en sistemas simbólico-a-simbólico. Esta disertación aborda el acompañamiento de batería en tiempo real desde múltiples perspectivas: (1) conceptual, donde se diseña una aplicación basada en un conjunto de requisitos especificados, (2) arquitectónica, donde se diseñan y desarrollan modelos generativos específicos para el diseño conceptual seleccionado, y (3) de implementación, donde se realiza y evalúa el diseño conceptual. A lo largo de este trabajo, se han desarrollado y refinado tres sistemas de acompañamiento. Además, como resultado secundario, se desarrolló NeuralMidiFx, una herramienta que facilita la integración de redes neuronales generativas en plugins \acrshort{vst}. También se recopilaron dos conjuntos de datos, TapTamDrum y El Bongosero, para apoyar investigaciones futuras sobre percepción rítmica y generación musical.Programa de Doctorat en Tecnologies de la Informació i les Comunicacions