Prediktor kvality obrázku tváře

Abstract

V této diplomové práci zkoumáme problém predikce kvality obrazů tváře. Navrhovaný přístup vychází z nedávno navržené metody učení predikce kvality na základě CNN (CNN-FQ) z trojic tváří. Tato práce rozšiřuje předchozí práci v několika klíčových ohledech. Zaprvé zavádíme nové metody výběru dat a bootstrappingu pro efektivní trénování na rozsáhlých databázích obličejů. Zadruhé trénujeme a vyhodnocujeme CNN-FQ s využitím datových sad IARPA Janus Benchmark a CASIA-WebFace. Zatřetí zkoumáme zlepšení nahrazením backbone CNN velkým neuronovým modelem předtrénovaným na databázi LAION obsahující 20 milionů obrazů. Nakonec vyhodnocujeme prediktory kvality pomocí protokolů z probíhající soutěže NIST pro predikci kvality tváře. Naše výsledky demonstrují účinnost těchto vylepšení, což výrazně zvyšuje výkon oproti původní implementaci.

In this thesis, we explore the problem of face image quality prediction. The proposed approach builds upon recently proposed method for learning CNN based quality predictor (CNN-FQ) from triplets of faces. This thesis enhances previous work in several key ways. Firstly, we introduce novel data selection and bootstrapping methods for efficient training on large face databases. Secondly, we train and evaluate CNN-FQ using the IARPA Janus Benchmark and CASIA-WebFace datasets. Thirdly, we explore improvements by replacing the CNN backbone with a large neural model pre-trained on the 20M LAION database. Lastly, we evaluate the quality predictors using protocols from the ongoing NIST face quality prediction challenge. Our results demonstrate the effectiveness of these enhancements, significantly improving performance over the original implementation.