Analýza výrazu tváře z obrazu v reálném čase

Abstract

Strojové rozpoznávání emocí či výrazů tváře je technologie, se kterou se zatím běžně nesetkáváme přesto, že by mohla najít mnohé využití. Jedním z důvodů může být výpočetní náročnost současných konvolučních neuronových sítí, které byly pro tento problém dosavadně použité. V této práci najdeme vhodnou malou a rychlou konvoluční neuronovou síť, která je schopná rozpoznat výrazy z tváře v reálném čase, a to i na mobilních zařízeních. Pro učení sítě použijeme databázi AffectNet, v současnosti největší databázi výrazů tváře v přirozených podmínkách, a pro následnou validaci anotujeme dalších 160 snímků, na kterých vyhodnotíme úspěšnost modelu. Naše síť dosahuje téměř state-of-the-art výsledků, zároveň je zhruba desetkrát menší než ostatní použité neuronové sítě, a na Raspberry Pi 4 dokáže klasifikovat výrazy z tváře s až pěti snímky za vteřinu.

Machine emotion recognition or facial expression recognition is a technology that we do not often see just yet, despite its many possible uses. One reason could be the use of computationally demanding convolutional neural networks in current state-of-the-art models. In this work, we find a suitable lightweight and fast convolutional neural network capable of facial expression recognition in real-time, even on mobile devices. The network is trained on the AffectNet database, currently the largest facial expression database in the wild setting, and to further validate our results, we collect and annotate 160 additional images, on which we evaluate the model performance. Our network achieves near state-of-the-art accuracy while being almost ten times smaller than previous approaches and can recognize and classify facial expressions with up to five frames per second on the Raspberry Pi 4.