Humanitzant avatars: Generació automàtica de gestos a partir de la parla

Abstract

Un dels problemes principals a l’hora de crear un avatar és combinar la veu i els gestos per tal d’obtenir expressions naturals i coherents. Aquest treball de fi de grau pretén aconseguir la generació automàtica de gestos a partir de la veu, garantint el màxim de correlació entre ells, per tal que l’avatar sigui el més natural possible./nPer al desenvolupament del projecte hem utilitzat una base de dades de converses etiquetades prosòdicament en format àudio i el programa NINOS que ens permet generar escenes audiovisuals, en el qual hem introduït els àudios assignant manualment gestos als mateixos. Les correlacions entre les característiques prosòdiques i els gestos corporals facials de les persones han servit de base per la generació automàtica de gestos a partir de la prosòdia amb tres mètodes diferents./nFinalment, hem avaluat els resultats mitjançant un test MOS, i hem demostrat que els mètodes d’aprenentatge automàtic proporcionen millors resultats que els mètodes d’assignació aleatoris.One of the main challenges of creating an avatar is to combine voice and gestures in a consistent manner to get natural and coherent expressions. The objective of this final project is to automatically generate gestures based on the voice, maximizing the correlation between them so that the avatar is as natural as possible./nDuring the project development we used a database of prosodically labeled conversations in audio format using NINOS; a program that allows generating visual scenes in which we manually introduced the sounds and then assigned gestures accordingly. The correlations between the individual’s prosodic features and facial gestures provided the basis for the automatic generation of prosody-based gestures with three different methods./nFinally, we evaluated the results using a MOS test, and we demonstrated that machine learning methods provide better results than random allocation methods.