Akcelerace neuronových sítí na cloudové kartě s FPGA

Abstract

Tato práce se zabývá akcelerací neuronových sítí na cloudové FPGA kartě Alveo U55C. Zkoumány jsou zejména framework HLS4ML využívající vysoko-úrovňovou syntézu a framework Vitis AI využívající akceleraci pomocí DPU. Oba frameworky jsou nejprve otestovány na malých sítích pro datovou sadu Iris. Poté jsou provedeny experimenty se sadou různě velkých konvolučních neuronových sítí trénovaných na datové sadě CIFAR-10. Jsou nalezeny limity obou přístupů. Experimenty jsou vyhodnoceny z hlediska délky času zpracování a spotřeby energie. Poté je pomocí Vitis AI provedena akcelerace modelu YOLOv7 pro detekci objektů v obraze. Ten je poté použit v prototypové aplikaci pro zpracování obrázků z humanoidních robotů Nao. Model je také vyhodnocen z hlediska propustnosti a latence.This thesis researches the acceleration of neural networks on cloud FPGA card Alveo U55C. In particular, it explores the HLS4ML framework, which uses high-level synthesis, and the Vitis AI framework, which uses DPU acceleration. First both frameworks are tested on small networks trained for the Iris dataset. Then they are used for experiments with a set of convolutional neural networks of different sizes trained for the CIFAR-10 dataset. Limits of both frameworks are found. Experiments are evaluated in terms of processing time and power consumption. Then the Vitis AI is used to accelerate the YOLOv7 model to detect objects in images. This model is then used in a prototype application for processing of images from humanoid Nao robots. This model is also evaluated in terms of throughput and latency.