Benchmark výkonu otevřených modelů LLM

Abstract

V posledných rokoch vzbudili veľké jazykové modely (LLM) značnú pozornosť verejnosti. Záujem sa čoraz viac sústreďuje nielen na kvalitu ich výstupov, ale aj na ich hardvérové nároky a výkonnosť. Táto práca sa zameriava na hodnotenie hardvérového výkonu open-source LLM rôznych veľkostí, pričom skúmame ich správanie pri rôznych dĺžkach vstupov a výstupov, ako aj pri rôznom počte paralelne spracovávaných požiadaviek. Testovali sme výkon modelov LLaMA-3.1-8B-Instruct, LLaMA-3.2-1B-Instruct a Qwen3-32B na grafickej karte NVIDIA A100 80GB. Pri týchto experimentoch sme sa zamerali na posúdenie vhodnosti jednotlivých modelov pre konkrétne typy úloh a záťaže. Výsledky poskytujú prehľad o pamäťovej náročnosti, latencii a priepustnosti v rôznych scenároch použitia, čím prispievajú k lepšiemu rozhodovaniu pri výbere modelu pre praktické nasadenie.

In recent years, large language models (LLMs) have attracted significant public attention. Interest has increasingly focused not only on the quality of their outputs, but also on their hardware requirements and performance. This work focuses on evaluating the hardware performance of open-source LLMs of different parameter sizes, by investigating their behavior under different input and output lengths as well as different bacth sizes. We tested the performance of LLaMA-3.1-8B-Instruct, LLaMA-3.2-1B-Instruct, and Qwen3-32B on an NVIDIA A100 80GB graphics card. In these experiments, we focused on assessing the suitability of each model for specific types of tasks and workloads. The results provide insight into memory footprint, latency, and throughput under different usage scenarios, thus contributing to better decision making when selecting a model for practical deployments.