Detekce syntetických obrázků

Abstract

Tato práce prezentuje několik experimentů týkajících se detekce syntetických obrázků obličejů. Bylo zjištěno, že klasifikační model standardní architektury ResNET-50, trénovaný na specifickém generátoru obrázků, může dosáhnout téměř dokonalé přesnosti při rozpoznávání syntetických a skutečných obrázků. Model také zvládá běžné deformace obrazu (snížené rozlišení, kompresi) pomocí augmentace dat. Kromě toho jsou částečné manipulace, kdy jsou syntetické obrázky smíchány se skutečnými, identifikovány a oblast manipulace je lokalizována pomocí jednoduchého modelu standardní architektury YOLO. Nicméně bylo zjištěno, že model je zranitelný vůči adversariálním útokům a nefunguje dobře pro generátory, jejichž obrázky nebyly zahrnuty v trénovací sadě. Nedostatek schopnosti generalizace pro detekci obrázků vytvořených novějším generátorem se vyskytuje i u nejnovějších metod, které jsme testovali na Realistic Vision, vylepšené verzi generátoru obrázků Stable Diffusion.

This thesis presents several experiments on detecting synthetic face images. We find that a simple classification model of the standard ResNET-50 architecture trained on a specific image generator can achieve near-perfect accuracy in separating synthetic and real images. The model also handles common image distortions (reduced resolution, compression) by using data augmentation. Moreover, partial manipulations, where synthetic images are blended into the real ones, are identified and the area of the manipulation is localized by a simple model of standard YOLO architecture. However, we also find that the model is vulnerable to adversarial attacks and does not generalize to data from unseen generators. Failure to generalize to detect images produced by a newer generator also occurs for recent state-of-the-art methods, which we tested on Realistic Vision, a fine-tuned version of Stable Diffusion image generator.