Show simple item record

dc.contributor.author Vitoria Carrera, Patricia
dc.contributor.other Ballester, Coloma
dc.contributor.other Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
dc.date.accessioned 2021-10-27T01:28:21Z
dc.date.available 2021-10-27T01:28:21Z
dc.date.issued 2021-07-09
dc.identifier http://hdl.handle.net/10803/672662
dc.identifier.uri http://hdl.handle.net/10230/48824
dc.description.abstract Restoration of a high-quality image from a degraded recording is an important problem in early vision processing. In this thesis, we tackle three image restoration problems: image inpainting, colorization, and motion blur kernel estimation for deblurring. In the first part, we present a timeline evolution of the inpainting research using deep learning approaches. We analyze the different approaches that have been developed for image inpainting and test them in the context of art restoration. Additionally, we propose an automatic semantic inpainting method able to reconstruct corrupted information of an image by semantically interpreting the image itself. Moreover, we address the problem of automatic detection of the regions in the image where the information is corrupted by particular lens artifacts, namely, spot flares, and finally their reconstruction via inpainting. In the second part, we propose an automatic colorization approach based on adversarial learning coupled with semantic information able to infer one colorization solution for a given image. Qualitative and quantitative results show the capacity of the proposed method to colorize images in a realistic way achieving state-of-the-art results. Lastly, in the third part, we propose a general, non-parametric model for dense non-uniform motion blur estimation. Given a blurry image, a set of adaptive basis kernels, as well as the mixing coefficients at the pixel level, are estimated, producing a per-pixel map of motion blur. This rich but efficient forward model of the degradation process allows the utilization of existing tools for solving inverse problems.
dc.description.abstract La restauració d'una imatge d'alta qualitat a partir d'una versió degradada és un problema important en el processament de la visió a etapes primerenques. En aquesta tesi, abordem tres problemes de restauració d'imatges: inpanting, colorització i estimació dels nuclis de borrositat per moviment per a la reducció de la borrositat. En la primera part, presentem una evolució temporal dels mètodes d'inpainting basats en aprenentatge profund. Analitzem els diferents enfocs que s'han desenvolupat i els testegem en el context de la restauració d'art. També, proposem un mètode automàtic per inpainting capaç de reconstruir la informació corrupta d'una imatge interpretant semànticament la pròpia imatge. A més, abordem el problema de la detecció automàtica de les regions en la imatge on la informació està corrompuda per artefactes d'un tipus particular anomenat "flare spot", i finalment els reconstruïm mitjançant un algoritme d'inpainting. En la segona part, proposem un algoritme de colorització automàtica basat en aprenentatge adversari juntament amb la incorporació d'informació semàntica. El mètode proposat és capaç d'estimar una de les moltes possibles solucions. Els resultats qualitatius i quantitatius mostren la capacitat del mètode proposat per coloritzar imatges de manera realista aconseguint resultats competitius i de l'estat de l'art. Finalment, en la tercera part, proposem un model general no paramètric per a l'estimació densa dels nuclis de borrositat de moviment no uniformes per a la reducció de la borrositat. Donada una imatge borrosa, s'estimen un conjunt de nuclis de base adaptatius a la imatge donada, així com els coeficients de la barreja a nivell de píxel, produïnt un mapa per píxel de desenfocament pel moviment. Aquest model complet i eficient del procés de degradació permet l'utilització d'eines existents per a resoldre problemes inversos.
dc.description.abstract La restauración de una imagen de alta calidad a partir de una versión degradada es un problema importante en el procesamiento de la visión en etapas tempranas. En esta tesis, abordamos tres problemas de restauración de imágenes: inpanting , colorización y estimación de los núcleos de borrosidad por movimiento para la reducción de la borrosidad. En la primera parte, presentamos una evolución temporal de los métodos de inpainting basados en aprendizaje profundo. Analizamos los diferentes enfoques que se han desarrollado y los probamos en el contexto de la restauración de arte. Además, proponemos un método automático para inpainting capaz de reconstruir la información corrupta de una imagen interpretando semánticamente la propia imagen. Además, abordamos el problema de la detección automática de las regiones en la imagen donde la información está corrompida por artefactos de lentes particulares llamados "flare spot" y finalmente se reconstruyen mediante un algoritmo de inpainting. En la segunda parte, proponemos un algoritmo de colorización automática basado en aprendizaje adversario junto con la incorporación de información semántica. El algoritmo es capaz de estimar una de las múltiples posibles soluciones. Los resultados cualitativos y cuantitativos muestran la capacidad del método propuesto para colorear imágenes de manera realista logrando resultados competitivos con el estado del arte. Por último, en la tercera parte, proponemos un modelo general no paramétrico para la estimación densa de los núcleo de movimiento no uniformes para la reducción de la borrosidad. Dada una imagen borrosa, se estiman un conjunto de núcleos de base adaptativos a la imagen dada, así como los coeficientes de mezcla a nivel de píxel, produciendo un mapa por píxel de desenfoque de movimiento. Este modelo completo y eficiente del proceso de degradación permite la utilización de herramientas existentes para resolver problemas inversos.
dc.format application/pdf
dc.format 266 p.
dc.language.iso eng
dc.publisher Universitat Pompeu Fabra
dc.rights ADVERTIMENT. Tots els drets reservats. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.
dc.rights info:eu-repo/semantics/openAccess
dc.source TDX (Tesis Doctorals en Xarxa)
dc.title On data-driven models for image restoration
dc.type info:eu-repo/semantics/doctoralThesis
dc.type info:eu-repo/semantics/publishedVersion
dc.date.modified 2021-10-25T11:12:26Z
dc.subject.keyword Deep learning
dc.subject.keyword Image inpainting
dc.subject.keyword Image deblurring
dc.subject.keyword Colorization
dc.subject.keyword GANs
dc.subject.keyword Blur estimation
dc.subject.keyword Image restoration
dc.subject.keyword Image processing
dc.subject.keyword Aprenentatge profund
dc.subject.keyword Inpainting
dc.subject.keyword Reducció de la borrositat
dc.subject.keyword Colorització
dc.subject.keyword Nuclis de borrositat
dc.subject.keyword Restauració d'imatge
dc.subject.keyword Processament d’imatge
dc.subject.keyword 62


Files in this item

Files Size Format View

There are no files associated with this item.

This item appears in the following Collection(s)

Show simple item record

Search DSpace


Advanced Search

Browse

My Account

Statistics

Compliant to Partaking