Přenos účesu mezi portréty

Abstract

Tato diplomová práce navrhuje ucelené řešení problému přenosu účesu mezi portréty. Vstupem jsou dva portréty různých lidí, snímek vlasů a snímek obličeje. Metoda vyprodukuje přirozeně vypadající portrét, který má účes ze snímku vlasů a identitu ze snímku obličeje. Navrhovaná architektura se skládá ze dvou enkodérů a menší spojovací sítě, které mapují oba vstupní snímky do latentního prostoru sítě StyleGAN2. Ta následně vygeneruje výsledný obrázek ve vysoké kvalitě. Metoda nevyžaduje anotace ani externí dataset - proces trénování je proveden na syntetických datech generovaných ze sítě StyleGAN2. Metoda má několik dalších využití, jako je např. manipulace účesů a generování vlasů pro 3D morphable model. Z rozsáhlého vyhodnocení je zřejmé, že náš přístup je robustní vůči náročným podmínkám, a to včetně případů, kdy jsou vstupy různě natočeny a nasvíceny nebo se liší velikostí obličeje, etnicitou či pohlavím. Kvalita přenesených účesů je vyhodnocena pomocí naučené metriky pro podobnost vlasů a také pomocí uživatelské studie.

This thesis proposes a compact solution for high-fidelity hairstyle transfer between portrait images. Given a hair image and a face image, our network produces an output image having the input hair and face seamlessly merged. The architecture consists of two encoders and a tiny mapping network that map the two inputs into the latent space of the pretrained StyleGAN2, which generates a high-quality image. The method needs neither annotated data nor an external dataset; the whole pipeline is trained using only synthetically generated images by the StyleGAN2. We demonstrate additional applications of the proposed framework, e.g., hairstyle manipulation and hair generation for 3D morphable model renderings. The extensive evaluation shows that our network is robust to various challenging conditions, where a head pose, face size, gender, ethnicity, and illumination differ between the inputs. The hairstyle transfer fidelity is assessed by a user study and using a trained hair similarity metric.