Understanding latent vector arithmetic for attribute manipulation in normalizing flows

Abstract

Normalizing flows are an elegant approximation to generative modelling. It can be shown that learning a probability distribution of a continuous variable X is equivalent to learning a mapping f from the domain where X is defined to Rn is such that the final distribution is a Gaussian. In “Glow: Generative flow with invertible 1x1 convolutions” Kingma et al introduced the Glow model. Normalizing flows arrange the latent space in such a way that feature additivity is possible, allowing synthetic image generation. For example, it is possible to take the image of a person not smiling, add a smile, and obtain the image of the same person smiling. Using the CelebA dataset we report new experimental properties of the latent space such as specular images and linear discrimination. Finally, we propose a mathematical framework that helps to understand why feature additivity works.

Normalizing flows es una elegante aproximación al modelado generativo. Se puede demostrar que aprender una distribución de probabilidad de una variable continua X es equivalente a aprender un mapeo f del dominio donde X se define a Rn de forma que la densidad resultante sea una Gaussiana. En " Glow: Generative flow with invertible 1x1 convolutions", Kingma et al introdujeron el modelo Glow. Los flujos de normalización organizan el espacio latente de tal manera que es posible la adición de características, lo que permite la generación de imágenes sintéticas. Por ejemplo, es posible tomar la imagen de una persona que no sonríe, agregar una sonrisa y obtener la imagen de la misma persona sonriendo. Utilizando el conjunto de datos de CelebA encontramos nuevas propiedades experimentales del espacio latente, como imágenes especulares y discriminación lineal. Finalmente, proponemos un modelo matemático que ayuda a comprender por qué funciona la aditividad de características.