Automatická detekce pohybu a postavy spících pacientů s poruchou REM spánku z videozáznamu

Abstract

Hlavním cílem této práce je vytvořit software pro automatizované zpracování videozáznamů spících pacientů s onemocněním RBD, kteří jsou součástí výzkumu v Centru poruch spánku a bdění Neurologické kliniky 1. lékařské fakulty Univerzity Karlovy a Všeobecné fakultní nemocnice. Pomocí konvolučních neuronových sítí a metod zpracování signálu je ve videozáznamech nalezena postava pacienta a následně detekován pohyb jednotlivých částí těla. Bylo testováno několik přístupů a modelů neuronových sítí, kdy finální použitou metodou byl framework DeepLabCut k natrénování modelu architektury sítě EfficientNet pro nalezení postavy. Sestavené algoritmy na bázi metod zpracování signálů poté slouží pro detekci pohybu nalezené postavy. Výstupy této analýzy videozáznamu jsou pak anotovaný videozáznam s vyznačenou kostrou postavy pacienta a detekované pohyby ve formátu CSV.

The main aim of this thesis is to develop software for automated processing of video recordings of sleeping RBD patients who are part of research at the Centre for Sleep and Wake Disorders of the Neurological Clinic of the 1st Faculty of Medicine of Charles University and the General University Hospital. Using convolutional neural networks and signal processing methods, the patient's figure is found in the video recordings followed up with the detection of the movement of individual body parts. Several neural network approaches and models were tested, but the final method used was the DeepLabCut framework to train the EfficientNet network architecture model for figure finding. The constructed algorithms based on signal processing methods are used to detect the motion of the found figure. Finally, the outputs of this video analysis are an annotated video with marked skeleton of the patient's figure and the detected movements in CSV format.