Este proyecto propone un método para la separación de fuentes sonoras de una mezcla,
empleando el movimiento de los intérpretes de dicha señal. El proceso se compone de
tres bloques. El primer bloque realiza un análisis frecuencial de la señal original mediante
Factorización No Negativa de Matrices (NMF). Le sigue el análisis de vídeo, que estima
la velocidad de movimiento de los intérpretes mediante diferentes tipos de segmentación
de vídeo: una basada en las trayectorias de movimiento de los ...
Este proyecto propone un método para la separación de fuentes sonoras de una mezcla,
empleando el movimiento de los intérpretes de dicha señal. El proceso se compone de
tres bloques. El primer bloque realiza un análisis frecuencial de la señal original mediante
Factorización No Negativa de Matrices (NMF). Le sigue el análisis de vídeo, que estima
la velocidad de movimiento de los intérpretes mediante diferentes tipos de segmentación
de vídeo: una basada en las trayectorias de movimiento de los objetos de la escena y
otra basada en el flujo óptico y el Análisis de Componentes Principales. El último bloque
emplea cuatro variantes de un algoritmo, basado en NMF y el problema de Cuadrados
Mínimos No Negativos, para analizar la correlación entre la información frecuencial y las
señales de movimiento. Finalmente, se ejecuta una serie de experimentos para comprobar
la eficacia de las diferentes variantes del método de separación de fuentes.
+
This project proposes a method for the task of audio source separation of a signal, based
on the movements of the players related to that signal. The process is composed of three
blocks. The first block, computes a frequential analysis of the original signal by Non-
negative Matrix Factorization (NMF). The video processing block estimates the velocity
signal of the movements of each player by two types of video segmentation: the first one
is based on motion trajectories of the objects in ...
This project proposes a method for the task of audio source separation of a signal, based
on the movements of the players related to that signal. The process is composed of three
blocks. The first block, computes a frequential analysis of the original signal by Non-
negative Matrix Factorization (NMF). The video processing block estimates the velocity
signal of the movements of each player by two types of video segmentation: the first one
is based on motion trajectories of the objects in the scene, while the second one, uses
optical flow and Principal Component Analysis. The last processing block makes a cor-
relation between the frequential information and the velocity signals, using four variation
of a method based on NMF and Non-Negative Least Squares. Finally, some experiments
show the efficacy of the different variants of the audio source separation method.
+
