Identifikace emočních stavů člověka na základě posloupnosti snímků jeho obličeje

Abstract

Důležitou součástí komunikace mezi lidmi je i exprese emoce. Pochopení emocionálního rozpoložení jedince pomáhá porozumět řečnickým formám jako je ironie, pochopit vážnost popisované situace a vnímat další informace, které často nejsou obsahem verbální komunikace. Vzhledem k rostoucí popularitě integrovaných rozhraní mezi člověkem a strojem má automatizované rozpoznání emoce potenciál zlepšit způsob jakým se stroji interagujeme. Díky přítomnosti kamerových senzorů téměř ve všech zařízeních je rozpoznání emoce na základě výrazu obličeje nejpřijatelnější formou vhodnou k masovému využití. V rámci této práce bylo navrženo a implementováno několik modelů rozpoznávajících emoci na základě sekvence obrázků obličeje v čelním pohledu. Jelikož je emoce dynamický psychický stav, byly prozkoumány a porovnány tři druhy časového kontextu. Pro zajištění využitelnosti vytvořených modelů s obrazovými toky v reálném čase byl vytvořen framework zapouzdřující funkcionalitu klasifikátoru. Zapouzdřenému celku jsou snímky předávány po jednom. Klasifikátory založené na metodách hlubokého učení i klasifikátory bežného typu byly využity v implementaci. Nejúspěšnější implementovaný model dosáhl přesnosti 95.1% na datové sadě CK+.

Emotion expression is an important aspect of human to human communication. Recognizing the emotional state of a person can help us better understand complex rethorical devices such as irony, understand the gravity of described situation and infer other information that is often not expressed as part of the verbal communication channel. With the growing popularity of integrated human-machine interfaces automatic emotion detection has a great potential to improve the way we interact with machines. Since camera sensors are being integrated into almost all devices, emotion recognition based on facial expression is one of the viable methods for widespread use. Several models performing emotion recognition based on sequence of frontal facial images were proposed and implemented in this thesis. Because emotion is a dynamic psychical state, three different types of temporal context information for recognition were examined and compared. To ensure usability with real-time streams a wrapper framework consuming one frame at the time is proposed. Both deep-learning based and conventional types of classifiers were implemented. The best performing model achieved accuracy of 95.1% on the CK+ dataset.