Detekce syntetických obrázků
Synthetic Image Detection
Typ dokumentu
diplomová prácemaster thesis
Autor
Nela Petrželková
Vedoucí práce
Čech Jan
Oponent práce
Baručić Denis
Studijní obor
Počítačové vidění a digitální obrazStudijní program
Otevřená informatikaInstituce přidělující hodnost
katedra kybernetikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Tato práce prezentuje několik experimentů týkajících se detekce syntetických obrázků obličejů. Bylo zjištěno, že klasifikační model standardní architektury ResNET-50, trénovaný na specifickém generátoru obrázků, může dosáhnout téměř dokonalé přesnosti při rozpoznávání syntetických a skutečných obrázků. Model také zvládá běžné deformace obrazu (snížené rozlišení, kompresi) pomocí augmentace dat. Kromě toho jsou částečné manipulace, kdy jsou syntetické obrázky smíchány se skutečnými, identifikovány a oblast manipulace je lokalizována pomocí jednoduchého modelu standardní architektury YOLO. Nicméně bylo zjištěno, že model je zranitelný vůči adversariálním útokům a nefunguje dobře pro generátory, jejichž obrázky nebyly zahrnuty v trénovací sadě. Nedostatek schopnosti generalizace pro detekci obrázků vytvořených novějším generátorem se vyskytuje i u nejnovějších metod, které jsme testovali na Realistic Vision, vylepšené verzi generátoru obrázků Stable Diffusion. This thesis presents several experiments on detecting synthetic face images. We find that a simple classification model of the standard ResNET-50 architecture trained on a specific image generator can achieve near-perfect accuracy in separating synthetic and real images. The model also handles common image distortions (reduced resolution, compression) by using data augmentation. Moreover, partial manipulations, where synthetic images are blended into the real ones, are identified and the area of the manipulation is localized by a simple model of standard YOLO architecture. However, we also find that the model is vulnerable to adversarial attacks and does not generalize to data from unseen generators. Failure to generalize to detect images produced by a newer generator also occurs for recent state-of-the-art methods, which we tested on Realistic Vision, a fine-tuned version of Stable Diffusion image generator.
Kolekce
- Diplomové práce - 13133 [474]