L’objectiu d’aquest Treball de Fi de Grau (TFG) és la concepció i implementació d’un mètode conegut dins del mon de la Visió per Computador com a Face Transfer (Transferència de Cares). Donades dues cares, l’objectiu del mètode proposat és poder transferir les expressions i característiques facials d’una cara cap a l’altre. O sigui, ser capaç d’aplicar un “mapping” que ens permeti animar la cara o avatar d’un personatge qualsevol a través dels moviments d’una altre cara, per exemple la nostra. Hi ...
L’objectiu d’aquest Treball de Fi de Grau (TFG) és la concepció i implementació d’un mètode conegut dins del mon de la Visió per Computador com a Face Transfer (Transferència de Cares). Donades dues cares, l’objectiu del mètode proposat és poder transferir les expressions i característiques facials d’una cara cap a l’altre. O sigui, ser capaç d’aplicar un “mapping” que ens permeti animar la cara o avatar d’un personatge qualsevol a través dels moviments d’una altre cara, per exemple la nostra. Hi han moltes formes de poder realitzar el mapping entre la informació de dues cares. En el nostre cas, proposem fer-ho dividint-les en zones (triangles), mitjançant la detecció d’uns punts característics prèviament definits. Un cop obtingudes les zones, transferim les corresponents textures utilitzant coordenades baricèntriques per realitzar el mapeig de coordenades i una tècnica coneguda com a Multiband Blending per fusionar d’una manera suau les textures de les dues cares. En aquest TFG hem explorat dos escenaris en l’aplicació de la tècnica de Face Transfer. El primer escenari és el mapeig de la textura d’una imatge sobre una altre cara en moviment al llarg d’una seqüència de vídeo. El segon és el cas invers, l'animació d'un avatar (una imatge) mitjançant les expressions facials captades en un vídeo.
+
The aim of this TFG is the conception and implementation of a method known in Computer Vision as Face Transfer. Given two faces, the objective of this method proposed is to be able to transfer of expressions and facial features from a face to another. This means, being able to apply a mapping that allows us to animate face or avatar of any character through the movement of another face, for instance, our face. There are many ways to map the information between two faces. In our case, we propose to ...
The aim of this TFG is the conception and implementation of a method known in Computer Vision as Face Transfer. Given two faces, the objective of this method proposed is to be able to transfer of expressions and facial features from a face to another. This means, being able to apply a mapping that allows us to animate face or avatar of any character through the movement of another face, for instance, our face. There are many ways to map the information between two faces. In our case, we propose to divide the faces into triangular regions, through featuring points detection previously defined. Once we got the regions, we can transfer the correspondent textures using barycentric coordinates to map and a technique known as Multiband Blending to merge both face textures in a smooth way. In this TFG we have explored two scenarios in the application of Face Transfer technique. First one is a texture mapping of an image over another in movement along a video sequence. The second one is the inverse situation, an avatar animation through the facial expressions captured in a video sequence.
+
