Analýza výrazu tváře z NIR obrazu

Abstract

Analýza výrazu obličeje (FER) je již dlouho významným tématem v oblasti počítačového vidění se zaměřením na předpovídání diskrétních emočních stavů a predikci hodnot v Circumplex Model of Affect modelu - sofistikovaného přístupu k zachycení duševnho rozpoložení. Použitelnost snímků ve viditelném spektru se však za špatných světelných podmínek snižuje. Pro řešení tohoto problémů jsou vhodné snímky z blízkého infračerveného (NIR) spektra, které jsou odolné vůči změnám osvětlení. Vzhledem k tomu, že neexistuje dostatečný dataset pro FER z NIR snímků, byl dataset AffectNet převeden do NIR spektra pomocí modelu CycleGAN, který je schopen přeložit snímky z NIR do viditelného spektra a naopak. Kromě toho byly vyvinuty také vlastní datasety, které byly s ostatními NIR datasety pro FER sloučeny do jendoho kombinovaného. K řešení problému bylo navrženo několik strategií zahrnujících detekci obličeje, převod spektra obrazu a analýzu výrazu obličeje s využitím architektur CenterFace, RetinaFace, CycleGAN, MobileNet a DDAMFN. Celý systém byl zapouzdřen do uživatelsky přívětivého Python modulu. Výsledky ukázaly, že navržené řešení mírně překonalo původní řešení určené pro snímky ve viditelném spektru, z něhož tato práce vychází. Navíc, rozpoznávání výrazu obličeje na uměle transformovaném datasetu AffectNet dosahuje téměř nejlepších výsledků (SOTA). Rozpoznávání výrazu obličeje z NIR snímků navíc překonává výsledky srovnatelné studie. Výkonnost na kombinované sadě skutečných dat je však o něco nižší v oblasti predikce diskrétních emocí, což lze přičíst malému rozsahu této sady dat a vnitřním problémům. Je třeba provést další testování na kvalitněji anotovaných NIR snímcích s výrazy obličeje.

Facial expression analysis (FER) has long been a significant subject in the field of computer vision, with a focus on predicting discrete emotional states and labels within the Circumplex model of affect - a sophisticated approach to capturing mental states. However, the effectiveness of images in the visible spectrum diminishes under poor lighting conditions. This is where near-infrared (NIR) images, which are resilient to changes in illumination, become crucial. Given the lack of an adequate dataset for FER from NIR images, the AffectNet dataset was converted to the NIR spectrum using the CycleGAN model, capable of transitioning from NIR to visible spectrum and vice versa. Additionally, modest custom datasets were also developed, which with other NIR datasets for FER were merged into a combined one. Several strategies were proposed to address the problem, encompassing face detection, image spectrum translation, and facial expression analysis using architectures such as CenterFace, RetinaFace, CycleGAN, MobileNet and DDAMFN. The entire system was encapsulated into a user-friendly Python module. The results demonstrated that the proposed solutions marginally surpassed the original solution designed for VIS images, which this work is based on. Notably, the facial expression recognition on the artificially transformed AffectNet dataset achieves near state-of-the-art (SOTA) performance. Furthermore, the facial expression recognition from NIR images surpasses the results of comparable studies. However, the performance on the combined true dataset is slightly lower in the discrete emotion predictions, which could be attributed to this dataset's small size and inherent challenges. There is a need for further testing on high-quality annotated NIR images with facial expressions. Despite these challenges, this work presents promising advancements in the field of facial expression analysis from NIR images.