Reconstrucción 3D por partes para objetos dinámicos con regularización temporal

Abstract

El problema de l’estructura no r ́ıgida del moviment ha despertat un gran inter`es per la comunitat de la visi ́o comunit`aria. Aquest problema ́es recuperar el moviment din`amic 3D d’un conjunt de traject`ories 2D que s’obtenen d’un v ́ıdeo monocular. Malgrat els aven ̧cos realitzats, en els escenaris amb deformacions complexes i un rang de vista restringit, les solucions actuals encara no tenen una soluci ́o robusta. Tanmateix, un enfocament alternatiu en les parts permet proporcionar molts avantatges per resoldre aquestes limitacions respecte al m`etode basat en models globals. En aquest projecte, el m`etode proposat es basa en un algorisme de reconstrucci ́o basat en consens. Com a contribuci ́o, es proposen dues formulacions energ`etiques que explotin un prior de regularitzaci ́o temporal d’un ordre variable i suau, per tal de beneficiar l’estimaci ́o de l’estructura 3D aprofitant les similituds existents entre els marcs consecutius. Els m`etodes proposats s’avaluen amb seq ̈u`encies de moviment hum`a, a partir d’observacions disperses i entrades sorolloses, respectivament. Els resultats mostren que amb aquesta nova restricci ́o de suavitat temporal, es poden obtenir errors de reconstrucci ́o competitius en comparaci ́o amb els m`etodes actuals, alhora que milloren la robustesa de les estimacions.

El problema de la estructura no r ́ıgida a partir de movimiento ha despertado un gran inter ́es en la comunidad de la visi ́on por ordenador. Este problema consiste en recuperar el movimiento 3D din ́amico a partir de un conjunto de trayectorias 2D que son obtenidas de un v ́ıdeo monocular. A pesar de los progresos realizados, en los escenarios con deformaciones complejas y rango de vista restringidos, las soluciones actuales todav ́ıa carecen de una soluci ́on robusta. No obstante, una alternativa de enfoque basado en partes permite aportar muchas ventajas para solventar estas limitaciones con respecto al m ́etodo basado en modelos globales.

En este proyecto, el m ́etodo propuesto tiene como base un algoritmo de reconstrucci ́on ba- sado en consenso. Como contribuci ́on se proponen dos formulaciones de energ ́ıa que explotan

un prior de regularizaci ́on temporal de orden variable de forma dura y blanda, con el fin de beneficiar la estimaci ́on de la estructura 3D aprovechando las similitudes que existen entre los

fotogramas consecutivos. Los m ́etodos propuestos son evaluados con secuencias de movimien- to humano, procedentes de observaciones dispersas y entradas ruidosas, respectivamente. Los

resultados muestran que con esta nueva restricci ́on de suavidad temporal se pueden obtener errores de reconstrucci ́on competitivos en comparaci ́on con los m ́etodos actuales, mientras se mejora la robustez de las estimaciones.

The problem of non-rigid structure from motion has aroused great interest in the computer vision community. This problem consists of recovering the dynamic 3D motion from a set of 2D trajectories that are obtained from a monocular video. Despite the progress made, in scenarios with complex deformations and a restricted view range, current solutions still lack a robust solution. However, an alternative part-based approach can provide many advantages to overcome these limitations with respect to a global model-based method. In this project, the proposed method is based on a consensus-based reconstruction algorithm. As a contribution, two energy formulations are proposed that exploit a order-varying temporal regularization prior in a hard as well as in a soft way, in order to benefit the estimation of the 3D structure taking advantage of the similarities that exist between the consecutive frames.

The proposed methods are evaluated with sequences of human motion, coming from scatte- red observations and noisy inputs, respectively. The results show that with this new temporal

smoothness constraint competitive reconstruction errors can be obtained compared to current methods, while improving the robustness of the estimations.