Detektor gest s pomocí Leap Motion senzoru
Gesture detector with Leap Motion sensor
Typ dokumentu
bakalářská prácebachelor thesis
Autor
Viet Anh Tran
Vedoucí práce
Nováček Tomáš
Oponent práce
Helcl Luboš
Studijní obor
Teoretická informatikaStudijní program
Informatika 2009Instituce přidělující hodnost
katedra teoretické informatikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Zkoumání způsobů pro ovládání virtuálního prostředí je populárním cílem mnoha výzkumných prací v odvětví interakce člověka s počítačem. Jeden ze způsobů je použití Leap Motion optického senzoru, vyvíjeného specificky pro rozpoznávání pohybu ruky a prstů. Tato bakalářská práce se zaměřuje na využití Leap Motion senzorů k rozpoznávání gest v reálném čase za pomocí neuronové sítě. Využili jsme architekturu dvouvrstvé obousměrné LSTM k natrénování statických i dynamických gest. Neuronová síť byla otestovaná na veřejně dostupném ASL datasetu s výsledkem 89.07\% za použití 5-fold cross validace s 200 iteracemi. Architektura byla ve finále natrénovaná využitím našeho vlastního datasetu s 3861 vzorky pro rozpoznávání v reálném čase. Demonstrovali jsme, že náš předtrénovaný model je vhodný pro použití v jiných aplikacích a také jsme diskutovali aktuální stav MultiLeap knihovny, vyvíjené pro detekci ruky pomocí více Leap Motion senzorů najednou. Porovnali jsme výsledky více senzorů použitím MultiLeap knihovny s výsledky naměřené jedním senzorem. Exploring ways to control the virtual environment is a popular goal of many human-computer interaction researchers. One of the approaches is using Leap Motion optical sensors, developed specifically to track hand and finger movements. The bachelor thesis focuses on utilizing Leap Motion sensors in real-time gesture recognition using neural networks. We used two layered bidirectional LSTM architecture to train static gestures along with dynamic gestures. The neural network was benchmarked on a publicly available ASL dataset acquiring 89.07% using 5-fold cross-validation on 200 epochs. The architecture was ultimately trained using our dataset of 3861 samples for real-time deployment. We demonstrated that the pre-trained model is sufficient to be integrated into other applications, and we also discussed the current state of the MultiLeap library, developed for hand detection using more than one Leap Motion sensor at once. We compared results of using multiple sensors with MultiLeap with results of using one sensor.
Kolekce
- Bakalářské práce - 18101 [337]