Audio source separation for music in low-latency and high-latency scenarios
Mostra el registre complet Registre parcial de l'ítem
- dc.contributor.author Marxer Piñón, Ricard
- dc.contributor.other Serra, Xavier
- dc.contributor.other Janer Mestres, Jordi
- dc.contributor.other Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
- dc.date.accessioned 2024-03-16T02:33:42Z
- dc.date.available 2024-03-16T02:33:42Z
- dc.date.issued 2013-10-11T10:45:56Z
- dc.date.issued 2013-10-11T10:45:56Z
- dc.date.issued 2013-09-09
- dc.date.modified 2024-03-15T10:58:00Z
- dc.description.abstract Aquesta tesi proposa mètodes per tractar les limitacions de les tècniques existents de separació de fonts musicals en condicions de baixa i alta latència. En primer lloc, ens centrem en els mètodes amb un baix cost computacional i baixa latència. Proposem l'ús de la regularització de Tikhonov com a mètode de descomposició de l'espectre en el context de baixa latència. El comparem amb les tècniques existents en tasques d'estimació i seguiment dels tons, que són passos crucials en molts mètodes de separació. A continuació utilitzem i avaluem el mètode de descomposició de l'espectre en tasques de separació de veu cantada, baix i percussió. En segon lloc, proposem diversos mètodes d'alta latència que milloren la separació de la veu cantada, gràcies al modelatge de components específics, com la respiració i les consonants. Finalment, explorem l'ús de correlacions temporals i anotacions manuals per millorar la separació dels instruments de percussió i dels senyals musicals polifònics complexes.
- dc.description.abstract Esta tesis propone métodos para tratar las limitaciones de las técnicas existentes de separación de fuentes musicales en condiciones de baja y alta latencia. En primer lugar, nos centramos en los métodos con un bajo coste computacional y baja latencia. Proponemos el uso de la regularización de Tikhonov como método de descomposición del espectro en el contexto de baja latencia. Lo comparamos con las técnicas existentes en tareas de estimación y seguimiento de los tonos, que son pasos cruciales en muchos métodos de separación. A continuación utilizamos y evaluamos el método de descomposición del espectro en tareas de separación de voz cantada, bajo y percusión. En segundo lugar, proponemos varios métodos de alta latencia que mejoran la separación de la voz cantada, gracias al modelado de componentes que a menudo no se toman en cuenta, como la respiración y las consonantes. Finalmente, exploramos el uso de correlaciones temporales y anotaciones manuales para mejorar la separación de los instrumentos de percusión y señales musicales polifónicas complejas.
- dc.description.abstract This thesis proposes specific methods to address the limitations of current music source separation methods in low-latency and high-latency scenarios. First, we focus on methods with low computational cost and low latency. We propose the use of Tikhonov regularization as a method for spectrum decomposition in the low-latency context. We compare it to existing techniques in pitch estimation and tracking tasks, crucial steps in many separation methods. We then use the proposed spectrum decomposition method in low-latency separation tasks targeting singing voice, bass and drums. Second, we propose several high-latency methods that improve the separation of singing voice by modeling components that are often not accounted for, such as breathiness and consonants. Finally, we explore using temporal correlations and human annotations to enhance the separation of drums and complex polyphonic music signals.
- dc.description.abstract Programa de doctorat en Tecnologies de la Informació i les Comunicacions
- dc.format 266 p.
- dc.format application/pdf
- dc.format application/pdf
- dc.identifier http://hdl.handle.net/10803/123808
- dc.identifier B. 24808-2013
- dc.identifier.uri http://hdl.handle.net/10230/21164
- dc.language.iso eng
- dc.publisher Universitat Pompeu Fabra
- dc.rights ADVERTIMENT. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.
- dc.rights info:eu-repo/semantics/openAccess
- dc.source TDX (Tesis Doctorals en Xarxa)
- dc.subject.keyword Processament de senyals
- dc.subject.keyword Processament d'àudio
- dc.subject.keyword Processament d'àudio en temps real
- dc.subject.keyword Separació de fonts
- dc.subject.keyword Separació cega de fonts
- dc.subject.keyword Separació de fonts de música
- dc.subject.keyword Factorització no negativa de matrius
- dc.subject.keyword Regularització de Tikhonov
- dc.subject.keyword Descomposició espectral
- dc.subject.keyword Descomposició del senyal
- dc.subject.keyword Estimació de to
- dc.subject.keyword Seguiment de to
- dc.subject.keyword Seguiment de múltiples tons
- dc.subject.keyword Reconeixement d'instruments
- dc.subject.keyword Modelatge de veu cantada
- dc.subject.keyword Modelatge de la percussió
- dc.subject.keyword Procesamiento de señales
- dc.subject.keyword Procesamiento de audio
- dc.subject.keyword Procesamiento de audio en tiempo real
- dc.subject.keyword Separación de fuentes
- dc.subject.keyword Separación ciega de fuentes
- dc.subject.keyword Separación de fuentes de música
- dc.subject.keyword Factorización no negativa de matrices
- dc.subject.keyword Regularización de Tikhonov
- dc.subject.keyword Descomposición espectral
- dc.subject.keyword Descomposición de la señal
- dc.subject.keyword Estimación de tono
- dc.subject.keyword Seguimiento de múltiples tonos
- dc.subject.keyword Reconocimiento de instrumentos
- dc.subject.keyword Modelado de voz cantada
- dc.subject.keyword Modelado de percusión
- dc.subject.keyword Signal processing
- dc.subject.keyword Audio processing
- dc.subject.keyword Real-time audio processing
- dc.subject.keyword Source separation
- dc.subject.keyword Music source separation
- dc.subject.keyword Non-negative matrix factorization
- dc.subject.keyword Tikhonov regularization
- dc.subject.keyword Spectral decomposition
- dc.subject.keyword Signal decomposition
- dc.subject.keyword Pitch estimation
- dc.subject.keyword Pitch tracking
- dc.subject.keyword Multipitch tracking
- dc.subject.keyword Instrument recognition
- dc.subject.keyword Singing voice modeling
- dc.subject.keyword Percussion modeling
- dc.subject.keyword 62
- dc.title Audio source separation for music in low-latency and high-latency scenarios
- dc.type info:eu-repo/semantics/doctoralThesis
- dc.type info:eu-repo/semantics/publishedVersion