Análisis de la producción de fonemas vocálicos para su aplicación en la animación de avatares

Abstract

El estudio realizado en este proyecto se basa en el análisis del movimiento de los labios de la cara a la hora de pronunciar fonemas vocálicos con el propósito de estudiar la manera de ofrecer más realismo en la animación de avatares utilizando la técnica "face transfer". Para efectuar dicho análisis se ha empleado Kinect que ha servido para capturar la imagen en color RGB y el mapa de profundidad de la escena. Primero se utilizan las imágenes RGB capturadas durante la pronunciación de los diferentes fonemas y, por medio de un algoritmo del estado del arte para localizar los puntos característicos faciales, se analiza su evolución en el espacio 2D para conocer su comportamiento durante la pronunciación de los fonemas vocálicos. Los datos de profundidad permiten estudiar la evolución de los puntos en las coordenadas XYZ para, finalmente, generar una malla en 3D que permite visualizar las diferencias entre los 5 fonemas vocálicos.

The research that I have done in this project is based on analyzing the movement of the/nlips of the face when pronouncing vowel sounds in order to study how to offer more/nrealism in animated avatars using face transfer technology./nIn order to perform this analysis I have used Kinect camera to capture the image in RGB/ncolour as well as the depth map of the scene./nFirst I have used captured RGB images while I was pronouncing the different/nphonemes and, using an algorithm of the state of art to locate facial feature points, I/nhave analyze its evolution in the 2D space to know their behavior during the/npronunciation of vowel phonemes. From the depth data I have been able to study the/nevolution of the XYZ coordinate points and finally I have generated a 3D mesh that lets/nme visualize the differences among the 5 vowel phonemes