Detekce obličejových landmarků za účelem automatizované logopedické terapie

Abstract

Tato diplomová práce se zabývá detekcí obličejových landmarků s cílem vytvořit systém pro automatizované ohodnocování logopedických cviků. Důležitou součástí takového systému je schopnost detekce a sledování pohybu jazyka. K tomuto účelu je použita hloubková kamera Intel RealSense D415. Výsledná aplikace, která byla napsaná v jazyce Python, umí ohodnotit několik typických logopedických cviků ze živého záznamu z kamery či z předtočených videí ve formátu .bag. Byla provedena experimentální analýza dvou vybraných cviků s využitím video dat několika dobrovolníků zahrnujících dospělé i děti. V průměru byl systém schopen detekovat 65% provedených opakování cviků přičemž žádný ze cviků nebyl vyhodnocen předčasně.

This diploma thesis focuses on facial landmark detection with the aim to create a system for automated speech therapy. Important part of this system is the ability to detect and track tongue movement. The Intel RealSense D415 depth camera is used for this purpose. The resulting application written in the Python language is able to evaluate several typical speech therapy exercises either from live camera footage or prerecorded videos in the .bag format. An experimental analysis of two selected exercises was performed using video data of several volunteers including both adults and children. On average the system was able to recognize 65% of the performed exercise repetitions without any of the exercises getting evaluated prematurely.