Detekce emocí z videa pomocí strojového učení

Abstract

Tato práce se zabývá detekcí emocí z videa na základě výrazu obličeje, zejména v kon- textu online videohovorů, s cílem zlepšit interakci mezi člověkem a počítačem a te- rapeutické poznatky. Práce je motivována praktickou využitelností v platformě pro přepis a sumarizaci rozhovorů zejména ve zdravotnictví. V rámci práce byl vytvořen nenáročný systém pro rozpoznávání emocí schopný analyzovat delší video sekvence. Klasifikované emoce jsou štěstí, smutek, hněv, strach, znechucení, překvapení, po- hrdání a neutralita. Tento přístup zahrnoval fine-tuning konvoluční neuronové sítě (CNN) Mobile- NetV2 na datové sadě FER2013Plus, při- čemž bylo dosaženo přesnosti 73 % na da- tové sadě FER2013Plus, 60 % na datové sadě CK+ a 47 % na datové sadě RAV- DESS. Uživatelské rozhraní v Reactu a Flask backend server zajistili input a ana- lýzu videa a prokázaly praktickou použi- telnost vyvinutého modelu. Práce popisuje několik omezení tohoto přístupu, zejména: využívání pouze vizu- ální modality, omezené zobecnění, pre- dikce na základě jednoho snímku a ne- vyváženost tříd.This thesis addresses facial expression- based emotion detection from video, par- ticularly in the context of online video calls, to enhance human-computer inter- action and therapeutic insights. Moti- vated by a practical application in a plat- form for transcription and summariza- tion of healthcare conversations primarily, the work developed a lightweight emotion recognition system capable of analyzing longer video sequences of individuals di- rectly facing the camera. The emotions classified are happiness, sadness, anger, fear, disgust, surprise, contempt, and neu- trality. The approach involved fine-tuning the MobileNetV2 convolutional neural net- work (CNN) on the FER2013Plus dataset, achieving accuracy levels of 73% on FER2013Plus, 60% on CK+, and 47% on RAVDESS datasets. A React-based user interface and Flask backend facili- tated video input and analysis, demon- strating the practical applicability of the developed model. The work noted limitations such as re- liance on visual modality only, limited gen- eralization, prediction on a single-frame, and class imbalance.