Towards efficient audio-visual source separation and synthesis
Mostra el registre complet Registre parcial de l'ítem
- dc.contributor.author Montesinos García, Juan Felipe
- dc.contributor.other Haro Ortega, Gloria
- dc.contributor.other Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
- dc.date.accessioned 2024-03-16T02:33:36Z
- dc.date.available 2024-03-16T02:33:36Z
- dc.date.issued 2023-04-17T11:02:17Z
- dc.date.issued 2023-04-17T11:02:17Z
- dc.date.issued 2023-03-31
- dc.date.modified 2024-03-15T10:58:03Z
- dc.description.abstract Nuestro cerebro tiene la habilidad innata de aislar diferentes sonidos en ambientes ruidosos (Efecto de fiesta de coctel), así como de entender la relación entre aquello que vemos y oímos. Esta tesis tiene como objetivo trasladar estas habilidades cognitivas, características de los humanos, a los ordenadores. De esta forma, se busca contribuir a la mejora de, por un lado, la separación de sonidos tanto en el ámbito de los discursos hablados, como en el de la música y la voz cantada; y por otro a la reconstrucción contextual de discursos hablados. Para ello exploramos representaciones alternativas de video y su idoneidad para las tareas antes mencionadas. En concreto, usamos marcadores faciales para desarrollar sistemas de separación de sonidos en tiempo real, ligeros y eficientes. Asimismo, utilizamos representaciones extraídas con aprendizaje profundo para llevar a cabo reconstrucción audiovisual del discurso hablado.
- dc.description.abstract Our brain has the innate capability of isolating different sounds in noisy environments (the cocktail party problem), as well as understanding the relationship between what we see and what we hear. This thesis aims to bring these human cognitive skills to computers by contributing to the improvement of speech, singing voice and music sound source separation as well as speech inpainting. To do so, we explore new video representations and their suitability for the aforementioned tasks. We used face landmarks to develop real-time, lightweight and efficient source separation systems. Likewise, we used deep-learning embeddings to carry out speech inpainting.
- dc.description.abstract Programa de doctorat en Tecnologies de la Informació i les Comunicacions
- dc.format 135 p.
- dc.format application/pdf
- dc.identifier http://hdl.handle.net/10803/688081
- dc.identifier.uri http://hdl.handle.net/10230/56477
- dc.language.iso eng
- dc.publisher Universitat Pompeu Fabra
- dc.rights L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc/4.0/
- dc.rights http://creativecommons.org/licenses/by-nc/4.0/
- dc.rights info:eu-repo/semantics/openAccess
- dc.source TDX (Tesis Doctorals en Xarxa)
- dc.subject.keyword Audio-visual
- dc.subject.keyword Audiovisual
- dc.subject.keyword Multimodal
- dc.subject.keyword Speech inpainting
- dc.subject.keyword Source separation
- dc.subject.keyword Speech enhancement
- dc.subject.keyword Speech
- dc.subject.keyword 62
- dc.title Towards efficient audio-visual source separation and synthesis
- dc.type info:eu-repo/semantics/doctoralThesis
- dc.type info:eu-repo/semantics/publishedVersion