Separación de fuentes sonoras en vídeos musicales asistida por el análisis del movimiento

Abstract

Este proyecto propone un método para la separación de fuentes sonoras de una mezcla, empleando el movimiento de los intérpretes de dicha señal. El proceso se compone de tres bloques. El primer bloque realiza un análisis frecuencial de la señal original mediante Factorización No Negativa de Matrices (NMF). Le sigue el análisis de vídeo, que estima la velocidad de movimiento de los intérpretes mediante diferentes tipos de segmentación de vídeo: una basada en las trayectorias de movimiento de los objetos de la escena y otra basada en el flujo óptico y el Análisis de Componentes Principales. El último bloque emplea cuatro variantes de un algoritmo, basado en NMF y el problema de Cuadrados Mínimos No Negativos, para analizar la correlación entre la información frecuencial y las señales de movimiento. Finalmente, se ejecuta una serie de experimentos para comprobar la eficacia de las diferentes variantes del método de separación de fuentes.

This project proposes a method for the task of audio source separation of a signal, based on the movements of the players related to that signal. The process is composed of three

blocks. The first block, computes a frequential analysis of the original signal by Non- negative Matrix Factorization (NMF). The video processing block estimates the velocity

signal of the movements of each player by two types of video segmentation: the first one is based on motion trajectories of the objects in the scene, while the second one, uses

optical flow and Principal Component Analysis. The last processing block makes a cor- relation between the frequential information and the velocity signals, using four variation

of a method based on NMF and Non-Negative Least Squares. Finally, some experiments show the efficacy of the different variants of the audio source separation method.