Exploration of music collections with audio embeddings
Mostra el registre complet Registre parcial de l'ítem
- dc.contributor.author Tovstogan, Philip
- dc.contributor.other Serra, Xavier
- dc.contributor.other Bogdanov, Dmitry
- dc.contributor.other Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
- dc.date.accessioned 2024-03-16T02:33:33Z
- dc.date.available 2024-03-16T02:33:33Z
- dc.date.issued 2022-07-27T10:36:34Z
- dc.date.issued 2022-07-27T10:36:34Z
- dc.date.issued 2022-07-12
- dc.date.modified 2024-03-15T10:58:04Z
- dc.description.abstract Music recommendation systems (RecSys) are integral to modern music streaming services. While there is much research on many aspects of RecSys, there is not enough research on exploration and discovery that contributes to long-term user retention. After conducting an anonymous survey, we identify that the exploration and rediscovery of the personal collections in particular needs improvement. To address this, we take advantage of music tags (genre, moods) and use deep auto-tagging systems to construct latent spaces. We investigate different architectures, datasets, layers, and projections and how they affect the perceived similarity of nearest neighbors. Finally, we present a novel web interface to visualize music collections using audio embeddings. We evaluate the proposed solution via semi-structured user interviews and conclude that it provides an excellent alternative to existing solutions. We believe that the contributions of this work enable more research and industry solutions for music exploration and discovery.
- dc.description.abstract Els sistemes de recomanació de música (RecSys) son una part integral de les actuals plataformes de música en streaming. Tot i que s'ha fet investigació sobre molts aspectes relacionats amb RecSys, encara falta investigació sobre l’exploració i el descobriment de continguts que permeti fidelitzar usuaris a llarg plaç. Després de realitzar un estudi preliminar, hem vist que existeix una manca d’eines per al re-descobriment de les col·leccions de música personals. Per abordar aquest problema, en aquesta tesi ens focalitzem en l’us d’etiquetes musicals sobre estil i mood i treballem en espais latents de dades entrenant predictors automàtics d'etiquetes basats en models d'aprenentatge profund (deep auto-tagging systems). Analitzem i comparem diferents arquitectures de xarxes neuronals, bases de dades, i diferents tècniques de projecció de dades per entendre com aquestes afecten al concepte de similaritat percebuda entre peces musicals que han estat projectades en punts propers dels espais latents. Finalment, mostrem una interfície web que hem desenvolupat per visualitzar i navegar col·leccions de música utilitzant els espais latents. Hem avaluat aquesta interfície a partir d’entrevistes semi estructurades i hem conclòs que la interfície proporciona una alternativa excel·lent als sistemes tradicionals de navegació de col·leccions musicals. Creiem que les contribucions d'aquesta tesi permeten que es desenvolupi més recerca i es creïn més aplicacions industrials per abordar el problema de l’exploració i descobriment de música.
- dc.description.abstract Programa de doctorat en Tecnologies de la Informació i les Comunicacions
- dc.format 137 p.
- dc.format application/pdf
- dc.format application/pdf
- dc.identifier http://hdl.handle.net/10803/675031
- dc.identifier.uri http://hdl.handle.net/10230/53886
- dc.language.iso eng
- dc.publisher Universitat Pompeu Fabra
- dc.rights L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-sa/4.0/
- dc.rights http://creativecommons.org/licenses/by-sa/4.0/
- dc.rights info:eu-repo/semantics/openAccess
- dc.source TDX (Tesis Doctorals en Xarxa)
- dc.subject.keyword Music information retrieval
- dc.subject.keyword Music exploration
- dc.subject.keyword Music discovery
- dc.subject.keyword Deep learning
- dc.subject.keyword Auto-tagging
- dc.subject.keyword Dataset
- dc.subject.keyword Recommendation systems
- dc.subject.keyword Visualization
- dc.subject.keyword Interface
- dc.subject.keyword User study
- dc.subject.keyword Music similarity
- dc.subject.keyword Personal music collections
- dc.subject.keyword Nearest neighbors
- dc.subject.keyword Latent spaces
- dc.subject.keyword Content-based similarity
- dc.subject.keyword Collaborative filtering
- dc.subject.keyword Recuperació d'informació musical
- dc.subject.keyword Exploració musical
- dc.subject.keyword Descobriment musical
- dc.subject.keyword Aprenentatge profund
- dc.subject.keyword Etiquetatge automàtic
- dc.subject.keyword Conjunt de dades
- dc.subject.keyword Sistemes de recomanació
- dc.subject.keyword Visualització
- dc.subject.keyword Interfície
- dc.subject.keyword Estudis amb usuaris
- dc.subject.keyword Similitud musical
- dc.subject.keyword Col·leccions de música personals
- dc.subject.keyword Veïns propers
- dc.subject.keyword Espais latents
- dc.subject.keyword Similitud basada en contingut
- dc.subject.keyword Filtratge col·laboratiu
- dc.subject.keyword 62
- dc.title Exploration of music collections with audio embeddings
- dc.type info:eu-repo/semantics/doctoralThesis
- dc.type info:eu-repo/semantics/publishedVersion