Automatic musical instrument recognition from polyphonic music audio signals

Fuhrmann, Ferdinand

Automatic musical instrument recognition from polyphonic music audio signals

Document Type

Doctoral thesis
Published Version

Author

Fuhrmann, Ferdinand

Director

Serra, Xavier

Publication Date

2012-01-25

Pages

239 p.

Citation

Fuhrmann, F. Automatic musical instrument recognition from polyphonic music audio signals. Universitat Pompeu Fabra; 2012. handle: http://hdl.handle.net/10803/81328

This citation was generated automatically.

Doctoral program

Programa de doctorat en Tecnologies de la Informació i les Comunicacions

Abstract

En aquesta tesi presentem un mètode general per al reconeixement automàtic d’instruments musicals partint d’un senyal d’àudio. A diferència de molts enfocs relacionats, el nostre evita restriccions artificials o artificioses pel que fa al disseny algorísmic, les dades proporcionades al sistema, o el context d’aplicació. Per tal de fer el problema abordable, limitem el procés a l’operació més bàsica consistent a reconèixer l’instrument predominant en un breu fragment d’àudio. Així ens estalviem la separació de fonts sonores en la mescla i, més específicament, predim una font sonora a partir del timbre general del so analitzat. Per tal de compensar aquesta restricció incorporem, addicionalment, informació derivada d’una anàlisi musical jeràrquica: primer incorporem context temporal a l’hora d’extraure etiquetes dels instruments, després incorporem aspectes formals de la peça que poden ajudar al reconeixement de l’instrument, i finalment incloem informació general gràcies a l’explotació de les associacions entre gèneres musicals i instruments.
In this dissertation we present a method for the automatic recognition of musical instruments from music audio signal. Unlike most related approaches, our specific conception mostly avoids laboratory constraints on the method’s algorithmic design, its input data, or the targeted application context. To account for the complex nature of the input signal, we limit the basic process in the processing chain to the recognition of a single predominant musical instrument from a short audio fragment. We thereby prevent resolving the mixture and rather predict one source from the timbre of the sound. To compensate for this restriction we further incorporate information derived from a hierarchical music analysis; we first incorporate musical context to extract instrumental labels from the time-varying model decisions. Second, the method incorporates information regarding the piece’s formal aspects into the process. Finally, we include information from the collection level by exploiting associations between musical genres and instrumentations.

Keywords

Machine listening, Music information retrieval, Music classification, Musical instrument recognition, Polyphonic timbre analysis, Escolta automàtica, Cerca i recuperació d'informació musical, Classificació musical, Reconeixement d'instruments musicals, Anàlisi tímbrica polifònica