3D reconstruction from silhouettes and photoconsistency based on depth map fusion

Abstract

In this thesis, we present a multi-view 3D reconstruction system from silhouettes and photoconsistency information based on depth map fusion. The method receives as input a set of images from different points of view with their corresponding calibration parameters. A confidence volume is extracted from the silhouette information. From this initial volume, photometric consistency is computed for every voxel inside the volume with respect to every view in the dataset using DAISY descriptors. Then, a set of depth maps is built for every view and they are merged via Truncated Signed Distance Function. Finally, the Marching Cubes algorithm is used to extract a polygonal mesh of the 3D implicit surface.

En aquesta tesi, presentem un sistema de reconstruccio 3D multi-vista a partir de siluetes i informació de fotoconsistència basada en la fusió de mapes de profunditat. El metode rep com a entrada un conjunt d’imatges des de diferents punts de vista amb els seus corresponents parametres de calibratge. S’extreu un volum de confiança a partir de les siluetes. A partir d’aquest volum inicial, es calcula la consistencia fotomètrica per a cada voxel dins del volum respecte a cada vista mitjançant els descriptors DAISY. A continuacio, es construeix un conjunt de mapes de profunditat per a cada vista i els fusionem a través de la Funció de Distància Signada Truncada (TSDF). Finalment, l’algorisme de Marching Cubes s’utilitza per extreure una malla poligonal de la superfície implícita en 3D.