Titella 3D a la web: Plataforma pel control en temps real d’un actor virtual

Abstract

Els actors virtuals cada vegada prenen més importància en el camp de la interacció amb les persones. Existeixen programes que permeten donar vida a personatges en temps real, però són per l'escriptori i normalment de pagament. És per això que el propòsit d'aquest projecte és dissenyar i crear una plataforma a la web que permeti controlar un car acter virtual 3D en temps real de manera natural mitjançant dispositius assequibles com són una càmera web, un micròfon i un controlador de jocs per tal que sigui una solució amb un cost mínim i orientat a tothom. El projecte està desenvolupat creant un sistema modular basat en grafs perquè el sistema pugui ser estès tant per persones amb nocions de programació com per gent que no. El codi és lliure i la implementació està feta a la plataforma WebGLStudio. En aquest document s'expliquen les tècniques i algorismes utilitzats per l'animació del model en temps real capturant els moviments naturals de l'usuari o amb expressions predefinides i traslladar-los al personatge, els problemes obtinguts al llarg del procéss d'implementació i també com crear un entorn adequat pel caràcter. També s'indica com utilitzar l'eina i com es pot modificar per obtenir els resultats desitjats. Aquests poden ser utilitzats en entorns d'investigació persona-màquina, per la creació de contingut audiovisual i en situacions on es vol mostrar el personatge en comptes de l'usuari.

Virtual avatars are rapidly becoming a key component in Human to Machine inter- action. Many available pieces of software animate characters in real time, but most

of them run locally in your computer and there is a fee to use them. The main objec- tive of the document hereby presented, is to develop a web-based platform for real

time 3D virtual character control using affordable hardware such as a web camera, a microphone, and a game controller. We have valued the smoothness and naturality of its movements. The modelling methodology is based in modular graphs. That eases the comprehension of the project and makes it available to anyone regardless of their programming skills. The code is open source and it has been developed at WebGLStudio platform. This document covers the methodologies and algorithms been used to animate the avatar in real time, either by the user’s motion capture or by using predefined expressions. It is also explained the troubleshooting throughout implementation stage, as well as setting up the surrounding environment for the character. Finally, we provide instructions for using and modify the given tool, so as anyone can adapt it to its own convenience. Our work can be of future use within research in the Human to Machine field, for audio-visual content generation purposes and for avatar impersonation among other uses.

Los actores virtuales cada vez toman más importancia en el campo de la interacción con las personas. Existen programas que permiten dar vida a personajes en tiempo real, pero son para el escritorio y normalmente de pago. Es por ello que el propósito de este proyecto es diseñar y crear una plataforma a la web que permita el control de un carácter virtual 3D en tiempo real de forma natural mediante dispositivos asequibles como son una cámara web, un micrófono y un controlador de juegos para que sea una solución con un coste mínimo y orientado a todo el mundo. El proyecto está desarrollado creando un sistema modular basado en grafos porque el sistema pueda ser extendido tanto por personas con nociones de programación como para gente que no. El código es libre y la implementación está hecha a la plataforma WebGLStudio.

En este documento se explican las técnicas y algoritmos utilizados para la animación del modelo en tiempo real capturando los movimientos naturales del usuario o con expresiones predefinidas y trasladarlos al personaje, los problemas obtenidos a lo largo del proceso de implementación y también cómo crear un entorno adecuado para el carácter. También se indica cómo utilizar la herramienta y cómo se puede modificar para obtener los resultados deseados. Estos pueden ser utilizados en entornos de investigación persona-máquina, para la creación de contenido audiovisual y en situaciones donde se quiere mostrar el personaje en vez del usuario.