Systém pro rozpoznávání akcí

Abstract

Tato práce přispívá do oblasti počítačového vidění a je zaměřena na vytvoření systému pro rozpoznávání akcí, který je založen na integraci informací ze dvou samostatných modulů. První modul dokáže rozpoznat a kategorizovat pohyb. Druhý modul rozpoznává objekty a jejich polohu na scéně. Informace z obou modulů je přeposlána navrženému klasifikátoru, který udělá konečnou predikci. Pro trénování modulu zodpovědného za rozpoznávání akcí jsme vytvořili vlastní dataset který obsahuje osm typů akci. Část těchto akcí vyžaduje nástroj a část jsou odpovídající jim „falešné“ akce, které mají podobný pohyb, ale žádné nástroje se nepoužívají. Navrhovaný klasifikátor dosahuje v tomto datasetu přesnosti 95,21% ve srovnání s 85,52% u základního klasifikátoru. Takovým způsobem demonstrujeme, že kombinaci dat ze dvou různých zdrojů můžeme zlepšit celkové výsledky úlohy rozpoznávání akcí, zvláště v případech kdy je použita malá datová sada.

This thesis contributes to the field of computer vision and focuses on the development of an action recognition system based on the integration of information from two separate modules. The first module is responsible for motion detection and categorisation. The second module is an instance segmentation module that recognises objects and their position in the scene. The information from both modules is passed to a classifier that makes the final prediction. To train the action recognition module, we create our own dataset with eight action types that include assembly actions with tools and also corresponding "fake" actions that have similar motion but where no tools are used. The proposed classifier achieves 95.21% accuracy in this dataset compared to 85.52% for a baseline classifier. Therefore, we demonstrate that combining data from two different sources can improve the overall results of the action recognition task, especially when a small dataset is used.