Reconocimiento automático de la posición del violín y el arco para la evaluación automática de la interpretación musical

Santaella Sánchez, Javier

Reconocimiento automático de la posición del violín y el arco para la evaluación automática de la interpretación musical

License

Citation

Santaella Sánchez, J. Reconocimiento automático de la posición del violín y el arco para la evaluación automática de la interpretación musical. 2019. handle: http://hdl.handle.net/10230/42386

This citation was generated automatically.

Abstract

En el campo de la enseñanza de instrumentos musicales es de gran importancia proveer una retroacción continuada durante las horas de práctica (sin profesor) del correcto uso de ellos. En el caso particular del violín, los gestos, la posición del violín, la posición del arco, los ángulos entre violín y arco (Skewness, tilt e inclinación1) y las posiciones de las manos son factores determinantes para una correcta ejecución musical. En el pasado se han implementado sistemas utilizados para proveer este tipo de retroacción de manera automática, los cuales se basan en sistemas costosos (p.e. cámaras Qualisys con marcadores). Por otra parte, estos resultan intrusivos para el músico (p.e. sensores de campo electromagnéticos, o kinect con marcadores), debido a que el violinista en este caso ha de lidiar con la incomodidad de llevar anclados estos sensores, tanto al arco como al violín, modificando el peso del arco/violín y la actuación del mismo. Así mismo, colocar sensores en un violín y su arco es inviable por el alto coste del instrumento. Este proyecto propone una base para un sistema sin coste y no intrusivo que sea capaz de obtener o aproximar estas características (posición del violín y del arco, ángulos que forman, etc.). Para ello se han realizado fotografías a cuatro violinistas, mientras ejecutan el violín, desde distintos ángulos, con una cámara convencional. Posteriormente se ha hecho uso de técnicas de aprendizaje profundo (redes neuronales) para la detección de objetos en imágenes, con el objetivo de detectar y localizar diversas partes concretas del violín y el arco (violín, voluta, barbada, puente, nuez del arco y punta del arco) en una imagen y a partir de un algoritmo basado en trazar rectas en función de las partes detectadas, extraer una estimación de los ángulos en dos dimensiones que forman el eje del violín y el arco. Se ha comprobado la aceptable precisión de los ángulos automáticamente detectados, y propuesto futuras líneas de trabajo para ampliar este proyecto a tres dimensiones en un entorno de tiempo real.