Automatic structure detection and visualization in symphonic music

Abstract

Music is perceived as an organized entity where the information is divided in different parts or segments. People with musical training are able to classify these segments according to their musical content or their instrumentation, and even according to their own knowledge of established musical structures. However, musically untrained audiences may not always get these segmentations easily, especially when the structural complexity of the piece is high. This project studies the effect of how different audio features can be used for audio segmentation, focusing on classical music, in particular symphonic repertoire, which has a complex structure. Two different segmentation techniques are tested: clustering, and similarity and novelty detection. These two methods are explored using two separate approaches and evaluated against manual annotations in the 4th Movement of the 9th Symphony by Beethoven, one of the most well-known pieces of this repertoire, in order to see which of the two works better when defining the structure of the musical piece. Furthermore, the results of the obtained segmentations are displayed in a webbased/ntool in the repoVizz platform, making them more accessible to the audience.

Els humans percebem la música com una entitat organitzada que està dividida en /nparts o segments. Les persones amb coneixements musicals son capaces de classificar aquests segments segons el seu contingut musical o la seva instrumentació, i també d’acord amb el seu coneixement sobre estructures musicals. Per altra banda, les persones que no tenen coneixements musicals no sempre son capaces /nd’extreure aquesta segmentació en una peça musical, sobretot quan es tracta d’una /nestructura complexa./nAquest projecte estudia com diferents característiques de l’àudio poden ser utilitzades per fer aquesta segmentació estructural, centrant-se en música clàssica, en /nparticular, repertori simfònic, ja que consta d’una estructura més complexa. S’implementen dues tècniques de segmentació: l’agrupament de dades i l’anàlisi de /nsimilitud i detecció de contrast. Aquests dos mètodes s’exploren per separat per tal d’avaluar quin dels dos funciona millor a l’hora de definir l’estructura d’una/npeça musical./nFinalment, els resultats de la segmentació es mostren en una eina web a la plataforma repoVizz, per tal de fer-los mes accessibles al públic.