Depth map estimation using focus and aperture bracketing from a modified Canon 600D camera

Abstract

In this work, we propose a variational model for depth estimation from an image sequence of a combined focus and aperture bracketing. In order to acquire the bracketed images, we modified a Canon 600D DSLR camera. We model the depth estimation problem as a minimization of an energy functional with a data fidelity term that takes into account the focus measures from different apertures. The energy to minimize is completed with a regularization term based on the Total Variation. Depth estimation using focus measures relies on local contrast. Homogeneous regions of the image have low local contrast, independently if they are focused or not, so this affects to the rightness of the estimated depth map. To overcome this problem, we propose a measure of reliability of the depth map and use inpainting techniques to improve the depth values on those areas with low reliability. The work is completed with the computation of an all-in-focus image. Finally, we also show experiments over different focus/aperture bracketings from various scenes and evaluate the behaviour of the algorithm by contrasting certain parameters.En aquest treball proposem un model variacional per estimar la profunditat d’una seqüencia d’imatges obtingudes a partir de la combinació de “bracketings” de focus i obertura de diafragma. Per tal d’obtenir aquesta seqüencia d’imatges hem modificat el firmware d’una càmera DSLR Canon 600D. Modelem el problema d’estimació de profunditat com una minimització d’un funcional d’energia amb un terme de fidelitat de les dades que té en conta les mesures de focus de diferents obertures. L’energia a minimitzar es completa amb un terme de regularització basat en la Variació Total. L’estimació de profunditat mitjançant mesures de focus té en conta el contrast local. Les regions homogènies de la imatge tenen un contrast local baix, independentment de si estan enfocades o no, per tant això afecta a la credibilitat del mapa de profunditat estimat. Per afrontar aquest problema, proposem una mesura de credibilitat del mapa de profunditat i utilitzem tècniques d’”inpainting” per millorar els valors de distància d’aquelles zones amb una mesura de credibilitat baixa. El treball es completa amb el càlcul d’una imatge “all-in-focus. Finalment, també mostrem experiments sobre diferents “bracketings” de focus/obertura de diverses escenes i avaluem el comportament de l’algoritme contrastant certs paràmetres.