Vyhodnocení a Kombinování Detektorů Deepfake Obrázků

Abstract

Tato práce se zabývá problémem detekce syntetických obrázků obličejů prostřednictvím vyhodnocení detektorů a návrhu modelu založeného na principu souborového učení. Tento navržený model výstupy jednotlivých detektorů s obrazovou vektorovou reprezentací extrahovananou z předtrénovaného modelu CLIP. Pro účely vyhodnocení byl vytvořen dataset obsahující syntetické snímky generované pomocí generativních adversariálních sítí, difúzních modelů a komerčně dostupných generátorů. Souborový model i jednotlivé detektory jsou testovány z hlediska robustnosti vůči postprocesingovým úpravám (např. komprese) a schopnosti generalizace na dosud neviděné generátory. Experimentální výsledky ukazují, že souborový přístup zlepšuje robustnost a schopnost generalizace ve srovnání s jednotlivými detektory. Kromě toho byla vyvinuta webová aplikace, která integruje souborový model i jednotlivé detektory a podporuje detekci v reálném čase.This thesis addresses the challenge of detecting synthetic face images by evaluating detectors and proposing an ensemble approach. The ensemble model combines outputs of detectors with image embeddings extracted from a pretrained CLIP model. To support the evaluation, we construct a dataset composed of generative adversarial networks, diffusion-based, and commercial synthetic images. The ensemble model and detectors are assessed for robustness to post-processing operations (e.g., compression) and their ability to generalise to unseen generators. Experimental results show that the ensemble approach improves robustness and generalisation in comparison to individual detectors. Additionally, we develop a web interface that integrates the proposed ensemble model and individual detectors to support real-time fake image detection.