Syntéza neuronových modelů pro FPGA s parametry v externích pamětech

Abstract

Tato práce představuje rozšíření nástroje hls4ml, který umožňuje odkládání parametrů neuronového modelu do externí paměti FPGA desek. Open-source nástroj hls4ml slouží pro vysokoúrovňovou syntézu malých neuronových modelů využívající principy proudové architektury. Na základě analýzy hls4ml jsem navrhl a implementoval toto rozšíření, čímž se zlepšilo využití paměti na čipu pro větší neuronové modely. Poté jsem toto rozšíření úspěšně použil k syntéze neuronového modelu s využitím až o 55 % méně vyhledávacích tabulek než standardní verze hls4ml. Pro ověření funkčnosti a chování rozhraní byl syntetizovaný model před spuštěním na hardwaru ověřen v programu Vitis HLS použitím C simulace a C-RTL kosimulace. Vstupní a výstupní datové typy byly převedeny na čísla s pevnou řádovou čárkou, čímž se teoreticky snížil objem přenášených dat na polovinu. Experimentoval jsem s nasazením na malé FPGA desce PYNQ-Z2 i na výkonnější cloudové kartě Alveo U55C. Široká škála modelů na datasetech Iris a MNIST byla implementována jak se standardní, tak s rozšířenou verzí hls4ml, aby bylo možné kvantifikovat přínos rozšíření a také stanovit jasné limity technologie. Tyto implementace byly hodnoceny podle využití FPGA prostředků a spotřeby energie, stejně jako podle propustnosti a latence.

This thesis presents an extension to the hls4ml tool that enables neural model parameter offloading to external memory of FPGA boards. The open-source hls4ml tool serves for high-level synthesis of small neural models using the streaming architecture principles. Based on hls4ml analysis, I designed and implemented this extension, improving the on-chip memory usage for larger neural models. Then, I successfully used the extension to synthesize a neural model, using up to 55% fewer lookup tables than the stock version of hls4ml. To validate functionality and interface behavior, the synthesized model was verified in Vitis HLS using C simulation and C-RTL co-simulation before running on hardware. Input and output data types were converted to fixed-point precision, theoretically halving the data transferred. I experimented with deployments on a small PYNQ-Z2 FPGA board, as well as a more powerful Alveo U55C cloud card. A wide range of models on Iris and MNIST datasets was implemented with both the stock and extended hls4ml in order to quantify the extension benefits, as well as to establish clear limits of the technology. These implementations were evaluated by their FPGA fabric and power usage, as well as throughput and latency.