On the study of noise inreal street photographs

Abstract

This work wants to be a new step on the study of noise in real images. The main contribution of this work is the presentation and creation of a new real noisy photographs dataset. The special characteristics of this dataset are that the pictures were taken in realistic conditions (in automatic mode) from different urban art spots. This dataset is composed of 32 scenes from where noisy and c lean images are provided. In order to calculate the c lean groundtruth image we have developed a pipeline to do so from the original raw data. Besides, we implemented a code that simulates the steps that a camera follows in order to get the final jpeg color image given the data captured by the sensor. Finally, we implemented a convolutional neural network that is able to estimate the noise in function of the pixel intensity that we trained using our dataset. Our goal is to provide to the computer vision community a new dataset with real noisy images that can be very useful for data driven algorithms and add new details on the discussion on how noise acts in nowadays digital cameras.

Aquest treball vol significar un nou pas en l’estudi del soroll en imatges reals. La major contribució d’aquest projecte és la presentació i creació d’un nou banc de dades amb fotografies amb soroll real. El valor afegit d’aquest banc de dades és que les imatges es van prendre en condicions reals (en mode automàtic) a diferents punts d’art urbà. Aquest conjunt de dades es compon de 32 escenes diferents on s’inclouen fotos amb soroll i sense. Per calcular aquestes imatges sense soroll hem desenvolupat un sistema que les calcula a partir de les dades en cru. A més, hem implementat un codi que simula les operacions que realitza una càmara per obtenir la imatge amb color en jpeg a partir de les dades capturades pel sensor. Finalment, hem implementat una xarxa neuronal convolucional, entrenada amb el nostre conjunt de fotografies, que és capaç d’estimar el soroll en funció de la intensitat del píxel. L’objectiu és proporcionar a la comunitat de visió per computador un nou banc de dades d’imatges amb soroll real que poden servir per a algorismes que necessiten de dades per funcionar i així afegir nous punts de vista a la discussió de com el soroll afecta a les càmeres digitals d’avui dia.