A deep learning approach to source separation and remixing of HipHop music

Abstract

Audio source separation has been one of the major research fields in audio processing during the past years. The main purpose of this discipline is to decompose a mixture signal into simpler components called sources, which applied to professionally produced music means to recover the instrument tracks. This is achieved by undoing the mixing process, which might vary depending on the music genre. In this work, an existing framework based on Deep Neural Networks will be adapted to the particularities to HipHop music and tested with a proposed dataset. The aim is to determine whether or not it is a suitable approach to be implemented in a remixing application. For this reason, objective and subjective quality tests are performed to evaluate the resulting separations. The isolated instrument tracks can be used for many different purposes, specially focusing on the following two aspects. First, each instrument can be placed in a 3D space so that the song can be reproduced not only in stereo, but in more complex configurations for which the song was not initially produced. Second, all the instruments can be controlled separately to edit the song, thus, enabling the possibility to remix it. Consequently, further work on this subject will make it possible for musicians and producers to manipulate mixed songs in new powerful ways to create their content.La separación de fuentes de audio ha sido uno de los campos de investigación principales en procesamiento de audio durante los últimos años. El objetivo principal de esta disciplina es descomponer una señal mezclada en componentes más simples llamados fuentes, lo cual aplicado a música producida de forma profesional implica recuperar los instrumentos en pistas. Esto se consigue deshaciendo el proceso de mezcla, que puede variar dependiendo del género musical. En este estudio, un método existente basado en Deep Neural Networks se adaptará a las particularidades de la música HipHop y se evaluará con un conjunto de datos propuesto. La finalidad es determinar si es o no un método apropiado para ser implementado en una aplicación de remezcla. Por este motivo, se realizan pruebas objetivas y subjetivas de la calidad para evaluar los resultados de las separaciones. Las pistas aisladas se pueden utilizar para diferentes propósitos, especialmente centrándose en los siguientes dos aspectos. Primero, cada instrumento puede ser colocado en un espacio 3D de manera que la canción pueda reproducirse no solo en stereo, sino en configuraciones más complejas para las que no fue producida inicialmente. Segundo, todos los instrumentos se pueden controlar independientemente para editar la canción y, por tanto, brinda la posibilidad de remezclarla. De esta manera, trabajo posterior en esta área posibilitará a músicos y productores la manipulación de canciones mezcladas de nuevas maneras para crear su contenido.