Editace obrázků obličejů v latentním prostoru generativních adversarialních sítí

Abstract

Pokrok v syntéze obrázků obličejů v posledních letech postupuje velmi rychle díky generativním adversariálním sítím. Bylo zjištěno, že manipulace v latetním prostoru generativních adversarálních sítí umožňuje sémanticky upravovat obrázky. Představíme metodu pro úpravu obrázků obličejů pomocí manipulace s obličejovými body a následné optimalizace latentního kódu. Popíšeme a zanalyzujeme navrhovanou metodu a porovnáme ji s populární metodou hledání lineárních sémantických směrů v latentním prostoru. Nakonec ukážeme, jak lze upravené obličeje zakomponovat zpět do původní fotografie.

Face image synthesis has seen tremendous progress recently due to Generative Adversarial Networks (GANs). It was observed that latent space manipulation of GANs enables to semantically edit the generated images. We introduce a novel method for editing face images via manipulation with facial landmarks and subsequent latent optimization. We describe and analyze the proposed method and compare it with the popular approach of finding linear semantic directions in the latent space. Finally, we show an algorithm, where the manipulated face image is seamlessly blended into the original photography.