Systém sledování očních pohybů založený na neuronových sítích

Abstract

Cieľom tejto práce je vytvoriť framework na trénovanie modelov pre sledovanie očných pohybov. Pred vytvorením samotného frameworku prebehla rozsiahla analýza metód používaných na túto úlohu. Práca rieši časť úlohy pomocou neurónových sietí určených na regresiu a druhú časť pomocou známych metód na spracovanie obrazu. V rámci regresie, boli vzaté do úvahy siete, ktoré sú priamo určené na túto úlohu, ale aj všeobecné siete určené pre regresiu a klasifikáciu. Vytvorený framework integruje novodobé knižnice, architektúry a metódy neurónových sietí. Framework je následne testovaný na datasete reálnych subjektov. V rámci testovania práca porovnáva rôzne architektúry neurónových sietí, ktoré boli vo frameworku integrované, na základe ich presnosti a rýchlosti. Na záver sú vybrané modely exportované do štandardného formátu a zasadené do jednoduchého systému pre spracovanie obrázkov, ktorý beží v reálnom čase.

The goal of this thesis is to create a framework for training eye-tracking models. Before the creation of the framework, a comprehensive analysis of methods used for this task was undergone. The work solves a part of the problem using neural networks designed for regression and the other part of the problem using common image processing techniques. Several neural networks were considered, including networks designed for this task but also networks designed for a general regression or classification task. The created framework integrates novel libraries, neural network architectures and methods. The framework is subsequently tested on the dataset of real subjects. Within the testing, the work compares several integrated neural network architectures in terms of their accuracy and speed. Finally, the chosen models are exported to a standard format and inserted in a simple video pipeline that runs in real-time.