Non-rigid structure from motion using piece-wise Bézier curves

Abstract

Non-rigid structure from motion (NRSfM) is an area of interest that has several years of history within the field of Computer Vision. Such discipline focuses on recovering the 3D geometry of a deforming (therefore, non-rigid) object from its 2D feature correspondence over several frames or images. NRSfM is present at several real-world applications such as animations, data-recovery from camera, medical surgery, among others. Nowadays, there is no general algorithm that can solve this geometry recovery issue for all kinds of conceivable motion. The purpose of this project is mainly concerned in implementing a new way of retrieving the 3D structure from a non-rigid object according to its features extracted from motion using trajectory-based subspaces (also referred as basis). The subspaces used for this aim are a set of piece-wise Bézier curves subspaces constrained with several continuities based on curve smoothness (C0, C1 and C2, regarding continuity and derivability of a Bézier cuve). Such mathematical formulation provides a neat physical interpretation of features, in addition to a smoother and better representation of the motion.La estructura no rígida a partir del movimiento (del inglés: NRSfM) es un área de interés que tiene varios años de historia dentro del campo de la Visión por Computador. Esta disciplina se centra en la recuperación de la geometría 3D de un objeto deformado (por tanto, no rígido) a partir de su correspondencia de características 2D en varios fotogramas o imágenes. NRSfM está presente en varias aplicaciones del mundo real como las animaciones, la recuperación de

datos de la cámara, la cirugía médica, entre otras. Actualmente, no existe un algoritmo general que pueda resolver este problema de recuperación de la geometría para todos los tipos de movimiento concebibles.

El objetivo de este proyecto es principalmente implementar una nueva forma de recuperar la es- tructura 3D de un objeto no rígido de acuerdo con sus características extraídas del movimiento

utilizando subespacios basados en la trayectoria (también denominadas bases). Los subespacios utilizados para este fin son un conjunto de subespacios de curvas de Bézier a trozos restringidos con varias continuidades basadas en la suavidad de la curva (C0, C1 y C2, en relación con la

continuidad y la derivabilidad de una curva de Bézier). Esta formulación matemática propor- ciona una interpretación física clara de las características, además de una representación más

suave y mejor del movimiento.

Palabras clave: Estructura no rígida a partir del movimientoL’estructura no rígida a partir del moviment (de l’anglès: NRSfM) és una àrea d’interès que té diversos anys d’història dins del camp de la Visió per Computador. Aquesta disciplina se centra en la recuperació de la geometria 3D d’un objecte deformat (per tant, no rígid) a partir de la seva correspondència de característiques 2D en diversos fotogrames o imatges. NRSfM és present en diverses aplicacions del món real com les animacions, la recuperació de dades de la càmera, la cirurgia mèdica, entre altres. Actualment, no existeix un algorisme general que pugui resoldre aquest problema de recuperació de la geometria per a tots els tipus de moviment concebibles. L’objectiu d’aquest projecte és principalment implementar una nova manera de recuperar l’estructura 3D d’un objecte no rígid d’acord amb les seves característiques extretes del movi-

ment utilitzant subespais basats en la trajectòria (també denominades bases). Els subespais utilitzats per a aquest fi són un conjunt de subespais de corbes de Bézier a trossos restringits amb diverses continuïtats basades en la suavitat de la corba (C0, C1i C2, en relació amb la

continuïtat i la derivabilitat d’una corba de Bézier). Aquesta formulació matemàtica propor- ciona una interpretació física clara de les característiques, a més d’una representació més suau

i millor del moviment.