Rozpoznání akce pomocí neuronové sítě optimalizované pro běh na edge zařízení

Abstract

Umělá inteligence hraje v IoT klíčovou roli, konkrétně při zpracování rozpoznávání lidské činnosti (HAR). Vývoj v tomto směru se zaměřuje na automatizaci HAR. Vznikající trend ve vývoji automatizace systémů HAR. Účinnost těchto systémů však do značné míry závisí na robustních algoritmech hlubokého neuronového učení a zdokonalených hardwarových technologiích. Vision transformers vykazují v oblasti počítačového vidění naprosto dominantní výkon. Navíc zvyšují výkonnost pomocí metod, jako je parameter-efficient transfer-learning (PETL) s rozsáhlými předtrénovanými modely. Bohužel tyto modely založené na transformers mají společnou nevýhodu v tom, že mají mnoho parametrů a zabírají velké množství paměti, což způsobuje, že je obtížné je nasadit na okrajová zařízení jako lehké konvoluční neuronové sítě (CNN). Mým úkolem je vyvinout model schopný rozpoznávaní akcí, a nasadit jej na okrajové zařízení v reálném čase s nízkorozpočtovým tréninkem. V práci navrhuji nejlepší kompromis mezi výkonem a počtem parametrů. Model vznikl na základě architektury MobileViT která byla vyvinuta výzkumníky společnosti Apple. MobileViT je výkonný při extrakci a učení prostorových funkcí. Mým zadaným požadavkem je zpracování videa – musím být schopen zachytit pohyb mezi snímky. Architekturu jsem přepracoval vložením adaptérů (ST-Adapters). Upravuji model na navazující úlohu (downstream task), MobileViT je předtrénovaný a zmrazený. Adaptéry pomáhají zavést do modelu zkreslení související s obrazem a extrahovat časové prvky z videa. Navržený model je dostatečně malý, aby mohl být nasazen na okrajových zařízeních. Model dosáhl slibného výkonu s přesností 74,94 % na datasetu Kinetics-400, přičemž využil pouze 5,3M parametrů. Během trénování bylo aktualizováno pouze 15 % parametrů. Model dále vykazuje dobré skvělé výsledky na Jetson Nano, s predikcí 16,45 snímků za sekundu na zařízení Jetson Nano s využitím 2,58 GB RAM a přesností predikce 71,07 %.

AI becoming plays a crucial role in IoT, specifically in processing Human activity recognition (HAR). Development driven in this direction focuses on the automation of HAR. The emerging trend in the development of automation HAR systems. However, the effectiveness of these systems relies heavily on robust deep-learning algorithms and improved hardware technologies. Vision transformers show absolute dominance performance in computer vision. Moreover, enhancing performance by using methods such as parameter-efficient transfer-learning with large-scale pre-trained models. Unfortunately, these transformer-based models have the common drawback of having many parameters and a large memory footprint, causing them to be difficult to deploy on edge devices as lightweight convolutional neural networks. My challenge is to develop a model able HAR deployable on edge device in real time with low budget training. In the thesis, I propose the best trade-off between performance and number of parameters. The model emerged from the architecture of MobileViT developed by Apple researchers. MobileViT is powerful in extracting and learning spatial features. My set requirement is process video – I have to be able to capture temporal components. I redevelop the architecture by inserting ST-Adapters. Transforming the model to a downstream task, MobileViT is pretrained and frozen. Adapters help introduce image-related bias into the model and extract temporal features from the video stream. The proposed model is small enough to be deployed on edge devices. The model achieved promising performance with an accuracy of 74.94% on Kinetics-400, utilizing only 5.3M parameters. During training, 15% of the parameters were updated. Furthermore, the model demonstrates an inference speed of 16.45 frames per second on a Jetson Nano device, using 2.58GB RAM, with a prediction accuracy of 71.07%.