Univerzální model pro rozpoznávání obličejů

Abstract

Tato práce se zabývá problémem trénování multitask modelu schopného odhadovat věk, určovat pohlaví a ověřovat identitu, přičemž využívá foundation modely. Tento úkol je komplikován nedostatkem dostatečně rozsáhlých datasetů, které by obsahovaly všechny potřebné anotace pro trénování multitask modelu. K překonání tohoto problému navrhujeme metodu multitask trénování bez nutnosti použití anotovaných dat, založenou na model distillation. Model student je trénován pomocí predikcí dvou specializovaných učitelských modelů: jednoho pro ověření identity a druhého pro odhad věku a predikci pohlaví. Dále představujeme novou metodu pro sledování průběhu trénování verifikačních modelů, kterou nazýváme inverted running per-batch AUC (irAUC). Analyzujeme také dataset LAION-Face, který byl použit k trénování foundation modelu FaRL, abychom vysvětlili jeho omezený výkon v úloze ověření identity. Naše experimenty ukazují, že je nejen možné destilovat úlohy ověření identity, odhad věku a predikci pohlaví společně, ale že tento přístup může vést ke zlepšení výkonu predikcí věk-pohlaví. Ověření identity u multitask modelů hodnotíme pomocí protokolu IJB-C, přičemž dosahujeme slibných výsledků.

This thesis addresses the challenge of training a multitask model capable of age estimation, gender prediction, and identity verification, while leveraging foundation models. A major obstacle is the lack of sufficiently large datasets annotated for all three tasks, which complicates end-to-end training of such models. To overcome this, we propose a method for multitask training without the need for labeled data, using model distillation. A student model is trained based on the outputs of two specialized teacher models: one for identity verification and the other for age and gender prediction. Additionally, we introduce a novel validation metric for monitoring verification model training, termed inverted running per-batch AUC (irAUC). To investigate the limitations of the foundational model FaRL in identity verification, we perform a lexical analysis of its pretraining dataset, LAION-Face. Our experiments show that joint distillation of identity and age-gender tasks is not only feasible but can also enhance performance, particularly in age and gender prediction. The identity verification capabilities of the resulting multitask models are evaluated using the IJB-C protocol, demonstrating promising results.