Multi-view 3D reconstruction via depth map fusion for a smartphone application

Abstract

This work presents a multi-view 3D reconstruction system based on depth map fusion designed to be integrated in the pipeline of a mobile application that produces 3D models using as input a collection of images taken with a smartphone camera. Structure from Motion is used to estimate the camera matrices associated to the different views and get a first idea about the shape of what is to be reconstructed. This makes it possible to quickly generate a set of low-quality but computationally cheap depth maps using the Plane Sweep algorithm, which are merged to produce a higher quality 3D model by minimizing a TV-L¹ energy functional. The performance of the TV-L¹ is discussed and compared to the one obtained using TV-L². Finally, the Marching Cubes algorithm is used to extract a polygon mesh of the 3D model, which is painted by projecting it back to the input images while considering occlusions.

Aquest treball presenta un sistema de reconstruccio 3D mitjanc¸ant múltiples vistes basat en la fusio de mapes de profunditat i dissenyat per ser integrat en el marc d’una aplicacio mòbil que produeixi models 3D a partir d’una col·leccio d’imatges fetes amb la camera d’un telèfon intel·ligent. S’utilitza Structure from Motion per estimar les matrius de les cameres associades a les diferents vistes i obtenir una primera idea sobre la forma del que es vol reconstruir. Aixo possibilita la rapida generació d’un conjunt de mapes de profunditat de baixa qualitat pero econòmics a nivell computacional mitjançant l’algoritme de Plane Sweep, que son fusionats per construir un model 3D més precís minimitzant un funcional d’energia TV-L. El rendiment del TV-L es evaluat i comparat amb el del TV-L. Finalment, l’algoritme de Marching Cubes s’utilitza per extreure una malla poligonal del model, que es pintada fent-ne la projecció a les imatges originals tot considerant les oclusions.