Detektor gest s pomocí Leap Motion senzoru

Abstract

Zkoumání způsobů pro ovládání virtuálního prostředí je populárním cílem mnoha výzkumných prací v odvětví interakce člověka s počítačem. Jeden ze způsobů je použití Leap Motion optického senzoru, vyvíjeného specificky pro rozpoznávání pohybu ruky a prstů. Tato bakalářská práce se zaměřuje na využití Leap Motion senzorů k rozpoznávání gest v reálném čase za pomocí neuronové sítě. Využili jsme architekturu dvouvrstvé obousměrné LSTM k natrénování statických i dynamických gest. Neuronová síť byla otestovaná na veřejně dostupném ASL datasetu s výsledkem 89.07\% za použití 5-fold cross validace s 200 iteracemi. Architektura byla ve finále natrénovaná využitím našeho vlastního datasetu s 3861 vzorky pro rozpoznávání v reálném čase. Demonstrovali jsme, že náš předtrénovaný model je vhodný pro použití v jiných aplikacích a také jsme diskutovali aktuální stav MultiLeap knihovny, vyvíjené pro detekci ruky pomocí více Leap Motion senzorů najednou. Porovnali jsme výsledky více senzorů použitím MultiLeap knihovny s výsledky naměřené jedním senzorem.Exploring ways to control the virtual environment is a popular goal of many human-computer interaction researchers. One of the approaches is using Leap Motion optical sensors, developed specifically to track hand and finger movements. The bachelor thesis focuses on utilizing Leap Motion sensors in real-time gesture recognition using neural networks. We used two layered bidirectional LSTM architecture to train static gestures along with dynamic gestures. The neural network was benchmarked on a publicly available ASL dataset acquiring 89.07% using 5-fold cross-validation on 200 epochs. The architecture was ultimately trained using our dataset of 3861 samples for real-time deployment. We demonstrated that the pre-trained model is sufficient to be integrated into other applications, and we also discussed the current state of the MultiLeap library, developed for hand detection using more than one Leap Motion sensor at once. We compared results of using multiple sensors with MultiLeap with results of using one sensor.