Extraction and recognition of violin gestures on music performance

Abstract

Assessment of performance in music have been used frequently in learning and teaching areas. Automate this process involves the study and analysis of different key-points and its particular features. This kind of assessment has been studied and applied in music performances either in instruments or in voice, and mainly focused in two performance aspects: sound quality and/or instrument gesture. In the violin context, several methods have been proposed to acquire instrumental gesture parameters, e.g. right hand position, left hand position or bow-violin angles involved (Skewness, tilt and inclination). Other works investigate on the automatic assessment of the quality of the sound produced. Most of these studies propose a sophisticated or expensive environment, e.g. Qualisys camera and specific markers, Kinect camera, EMF sensors. However, little work has been done around a simple and lowcost solution that allows us to obtain an estimation of these performance aspects, also being a non-intrusive method for the violinist. This work presents a tracking system, based on machine learning and image recognition methods, which could also be supported with audio features. The proposed tracking system has been shown to be practical in home environments, requiring only a ordinary web-cam, and low-cost markers, simplifying the current systems. Finally, experiments to prove the robustness of the system have been performed, including: tests based on the camera’s capture range relative to camera’s angle position or tests to verify the analysis of the capture of gestures.L’avaluació de la práctica d’ ús d’instruments musicals ha estat freqüentment utilitzada en la seva area d’ensenyament i d’aprenentatge. No obstant, automatitzar aquesta avaluació comporta el estudi i anàlisis tant dels diferents punts essencials com de les seves característiques, aquest tipus d’avaluació ha estat estudiada i aplicada en la música, tant en instruments com en veu, i s’ha focalitzat en dos aspectes característics: En la qualitat del so i en els gestos de l’execució. En el particular cas del violí, en el qual se li dona èmfasi en aquest projecte, són nombrosos les caracteríıstiques estudiades per tal d’extreure aquests gestos, per exemple: La posició de la mà dreta, la posició de la mà esquerra o els angles involucrats entre l’arc i el violí (Skewness, tilt i inclinació). La major part d’aquests estudis tendeixen a ser sofisticats o en un ambient costos, p. ex. càmeres Qualisys amb marcadors específics, suports de camera Kinect o sensors de camps electromagnètics. No obstant, no s’han trobat investigacions centrades en un sistema simple i de baix cost que sigui capaç d’obtenir una estimacio d’aquests aspectes, a més, focalitzant-se en un sistema no intrusiu pel violinista. Aquest projecte planteja un sistema de seguiment basat en algoritmes d’aprenentatge au- tomatic i mètodes de reconeixement d’imatge els quals també podrien ser recolzats amb atributs auditius. S’ha demostrat que el sistema proposat es ideal en entorns domestics, fent únicament ús d’una càmera web ordinària i marcadors de baix cost, simplificant el sistemes actuals. Finalment, es planteja una part experiment per tal de qualificar la robustesa del sistema, incloent: proves basades en el rang de captura de la camera respecte a la posició angular d’aquesta o tests per verificar el anàlisis de la captació de gestos.