Evaluación y mejora de la invarianza al timbre de descriptores tonales para el uso efectivo en aplicaciones musicales

Abstract

La mayor parte de las aplicaciones musicales precisan de mecanismos inteligentes que nos permitan interactuar con el contenido musical de forma eficiente y ordenada. Una gran parte de los procedimientos automáticos utilizados en aplicaciones como la identificación o recomendación de música o el análisis de estructura o acordes se basan en la extracción automática de descriptores de croma, representativos del contenido tonal, mediante el análisis de señales musicales. Sin embargo, dichos métodos automáticos muestran ciertas deficiencias en presencia de ruido y cambios de timbre que acaban introduciendo errores en el sistema. Principalmente, este trabajo trata sobre tonalidad y timbre. Concretamente, se centra en el descriptor de croma Harmonic Pitch Class Profile HPCP (Emilia Gómez, 2007, UPF). Nuestro objetivo principal es estimar su grado de variación al timbre y su efectividad respecto a otros métodos, además de evaluar varios procesos que proponemos para mejorar su rendimiento. La estimación de la variación al timbre y la efectividad, se basa en el análisis de los cromagramas de 298 combinaciones de notas, interpretadas con diferentes instrumentos. Los métodos propuestos para mejorar el rendimiento son: la estimación de tono mediante las frecuencias instantáneas y la ecualización tímbrica basada en el filtrado cepstral. Además, presentamos diferentes experimentos con ambos métodos, en MATLAB y C++, que muestran la dependencia en los parámetros que controlan aspectos espectrales y su influencia en la extracción del croma. Los resultados obtenidos de la evaluación del cromagrama nos permiten cuantificar y visualizar propiedades relacionadas con el timbre y la tonalidad. De esta forma conseguimos clasificar los métodos de extracción de cromagramas, según su efectividad. Los experimentos con los métodos de mejora que proponemos, concluyen en que la estimación del tono a partir de la frecuencia instantánea es un método eficaz, pero poco eficiente para el análisis de señales de audio polifónicas. Además muestra una gran dependencia de sus parámetros y un alto coste computacional. Sin embargo, los experimentos realizados sobre el filtrado de coeficientes cepstrum, muestran la posibilidad de modificar las modulaciones tímbricas, con un comportamiento similar al de una función de blanqueado espectral. Principalmente, se han analizado dos técnicas: la sustitución de coeficientes cepstrum por ceros (zeroing) y el filtrado de los coeficientes mas bajos mediante un filtro pasa altos. Con los resultados obtenidos se han desarrollado dos plugin Vamp multi-plataforma: la tercera versión del HPCP y el espectrograma basado en la frecuencia instantánea, IF Spectrogram. Obviamente, estas dos aplicaciones finales quedarán a disposición de la comunidad para el análisis de señales de audio.

Most music applications require intelligent mechanisms that allow us to interact efficiently and orderly with the musical content. A large part of the automatic procedures used in applications such as identification or music recommendation or analysis of structure or chords are based on the automatic extraction chroma features, representing tonal content, through the analysis of musical signals. However, these automated methods show some deficiencies in noise and timbre changes that introduce errors into the system. Mainly, this work is about tonality and timbre. Specifically, it focuses on the chroma descriptor HPCP Harmonic Pitch Class Profile (Emilia Gómez, 2007, UPF). Our main objective is to estimate the degree of timbre invariance and its effectiveness over other methods, in addition to evaluating various processes we propose to improve its performance. The appraisal of the timbre invariance and effectiveness, are based on the chroma features analysis of 298 combinations of notes, played with different instruments. The proposed methods for improving performance are the pitch estimation based on instantaneous frequencies and timbre equalization based on cepstral filtering. In addition, we present several experiments with both methods in MATLAB and C++, which show the dependence on the parameters that control spectral aspects and their influence on chroma extraction. The results of the evaluation of croma approaches allow us to quantify and display properties related to the timbre and tonality. In this way we classify chroma extraction methods, depending on its effectiveness. Experiments with improved methods that we propose, conclude that the pitch estimation with the instantaneous frequency is effective, but not very efficient for the analysis of polyphonic audio signals. It also/nshows a considerable dependence of its parameters and a high computational cost. However, experiments with cepstrum filtering, show the possibility of modifying the timbre modulations, with a behavior similar to a spectral whitening. Mainly, two techniques have been analyzed with cepstrum: replacing coefficients by zeros and filtering using Gaussian function. With the obtained results we have developed two multi-platform plugin Vamp: the third version of HPCP and spectrogram based on the instantaneous frequency, IF Spectrogram. Obviously, these two applications will be available to the community for the analysis of audio signals.