On data-driven models for image restoration

Abstract

Restoration of a high-quality image from a degraded recording is an important problem in early vision processing. In this thesis, we tackle three image restoration problems: image inpainting, colorization, and motion blur kernel estimation for deblurring. In the first part, we present a timeline evolution of the inpainting research using deep learning approaches. We analyze the different approaches that have been developed for image inpainting and test them in the context of art restoration. Additionally, we propose an automatic semantic inpainting method able to reconstruct corrupted information of an image by semantically interpreting the image itself. Moreover, we address the problem of automatic detection of the regions in the image where the information is corrupted by particular lens artifacts, namely, spot flares, and finally their reconstruction via inpainting. In the second part, we propose an automatic colorization approach based on adversarial learning coupled with semantic information able to infer one colorization solution for a given image. Qualitative and quantitative results show the capacity of the proposed method to colorize images in a realistic way achieving state-of-the-art results. Lastly, in the third part, we propose a general, non-parametric model for dense non-uniform motion blur estimation. Given a blurry image, a set of adaptive basis kernels, as well as the mixing coefficients at the pixel level, are estimated, producing a per-pixel map of motion blur. This rich but efficient forward model of the degradation process allows the utilization of existing tools for solving inverse problems.

La restauració d'una imatge d'alta qualitat a partir d'una versió degradada és un problema important en el processament de la visió a etapes primerenques. En aquesta tesi, abordem tres problemes de restauració d'imatges: inpanting, colorització i estimació dels nuclis de borrositat per moviment per a la reducció de la borrositat. En la primera part, presentem una evolució temporal dels mètodes d'inpainting basats en aprenentatge profund. Analitzem els diferents enfocs que s'han desenvolupat i els testegem en el context de la restauració d'art. També, proposem un mètode automàtic per inpainting capaç de reconstruir la informació corrupta d'una imatge interpretant semànticament la pròpia imatge. A més, abordem el problema de la detecció automàtica de les regions en la imatge on la informació està corrompuda per artefactes d'un tipus particular anomenat "flare spot", i finalment els reconstruïm mitjançant un algoritme d'inpainting. En la segona part, proposem un algoritme de colorització automàtica basat en aprenentatge adversari juntament amb la incorporació d'informació semàntica. El mètode proposat és capaç d'estimar una de les moltes possibles solucions. Els resultats qualitatius i quantitatius mostren la capacitat del mètode proposat per coloritzar imatges de manera realista aconseguint resultats competitius i de l'estat de l'art. Finalment, en la tercera part, proposem un model general no paramètric per a l'estimació densa dels nuclis de borrositat de moviment no uniformes per a la reducció de la borrositat. Donada una imatge borrosa, s'estimen un conjunt de nuclis de base adaptatius a la imatge donada, així com els coeficients de la barreja a nivell de píxel, produïnt un mapa per píxel de desenfocament pel moviment. Aquest model complet i eficient del procés de degradació permet l'utilització d'eines existents per a resoldre problemes inversos.

La restauración de una imagen de alta calidad a partir de una versión degradada es un problema importante en el procesamiento de la visión en etapas tempranas. En esta tesis, abordamos tres problemas de restauración de imágenes: inpanting , colorización y estimación de los núcleos de borrosidad por movimiento para la reducción de la borrosidad. En la primera parte, presentamos una evolución temporal de los métodos de inpainting basados en aprendizaje profundo. Analizamos los diferentes enfoques que se han desarrollado y los probamos en el contexto de la restauración de arte. Además, proponemos un método automático para inpainting capaz de reconstruir la información corrupta de una imagen interpretando semánticamente la propia imagen. Además, abordamos el problema de la detección automática de las regiones en la imagen donde la información está corrompida por artefactos de lentes particulares llamados "flare spot" y finalmente se reconstruyen mediante un algoritmo de inpainting. En la segunda parte, proponemos un algoritmo de colorización automática basado en aprendizaje adversario junto con la incorporación de información semántica. El algoritmo es capaz de estimar una de las múltiples posibles soluciones. Los resultados cualitativos y cuantitativos muestran la capacidad del método propuesto para colorear imágenes de manera realista logrando resultados competitivos con el estado del arte. Por último, en la tercera parte, proponemos un modelo general no paramétrico para la estimación densa de los núcleo de movimiento no uniformes para la reducción de la borrosidad. Dada una imagen borrosa, se estiman un conjunto de núcleos de base adaptativos a la imagen dada, así como los coeficientes de mezcla a nivel de píxel, produciendo un mapa por píxel de desenfoque de movimiento. Este modelo completo y eficiente del proceso de degradación permite la utilización de herramientas existentes para resolver problemas inversos.

Programa de doctorat en Tecnologies de la Informació i les Comunicacions