Detektor deepfakes učený z malého množství příkladů

Abstract

Tato práce zkoumá efektivitu few-shot učení při detekci deepfake obrázků a videí. K tomuto účelu používáme embedding z již předtrénovaných modelů, konkrétně FaRL, ArcFace a ResNet-50, který byl předtrénován na ImageNet, a nad nimi postavený jednoduchý klasifikátor. Naše metody jsou testovány na několika běžně používaných deepfake datasetech, konkrétně na FaceForensics++ a DFDC. Kromě toho jsme vytvořili dvě nové datové sady, jednu z influencerů na Instagramu a druhou generovanou ze snímků mozku na magnetické rezonanci. Náš model je schopen dosáhnout výsledků srovnatelných s modelem SOTA na datové sadě FF++ a zároveň dosahuje dobrých výsledků na datové sadě DFDC. Na naší nové datové sadě influencerů dokáže metoda dosáhnout téměř dokonalé detekce. Náš přístup však není schopen generalizace na lékařském datasetu. Jako alternativu k našemu přístupu implementujeme malou síť CNN, kterou lze použít v úlohách, kde přístup založený na embeddingu nefunguje. Náš přístup ukazuje, že k dosažení dobrého výkonu pro detekci deepfaků nepotřebujeme velké množství trénovacích dat. Stačí pouze několik videí a/nebo obličejů, pokud použijeme dobrý embeddingový model. Není však zaručeno, že navržená metoda bude dobře generalizovat na jiné generátory, pokud se v trénovacích datech nenachází generativní model.

This thesis explores the effectiveness of few-shot learning in detecting image and video deepfakes. For this purpose, we use embedding from already pre-trained models, namely FaRL, ArcFace, and ResNet-50 which was pre-trained on ImageNet, with a simple classifier built on top of them. Our methods are tested on several commonly used deepfake datasets, namely FaceForensics++ and DFDC. In addition, we created two novel datasets, one from Instagram influencers and a second generated from MRI brain scans. Our model is capable of achieving results that are comparable to the SOTA on the FF++ dataset while still performing well on the DFDC dataset. On our novel influencer dataset, the method can achieve near-perfect detection. Our approach is, however, not capable of generalizing onto the medical dataset. We implement a small CNN as an alternative to our approach to be used in tasks where the embedding approach does not work. Our approach shows that to achieve good performance in deepfake detection, we do not need large quantities of training data. Only a few videos and/or faces are sufficient as long as we use a good underlying embedding model. However, the proposed method is not guaranteed to generalize to other generators well when the generative model is not present in the training data.