Metody pro evaluaci velkých jazykových modelů

Abstract

Ve snaze držet krok se stále rostoucí popularitou velkých jazykových modelů see rychle rozvíjí i techniky pro jejich evaluaci. Přestože stále vznikají nové testovací nástroje a datové sady, často jsou určeny pouze k užití v anglickém jazyce, a schopnosti, které tyto modely třímají v ostatních jazycích zůstávájí z většiny neprověřeny. Tato diplomová práce prozkoumává techniky, které jsou v současnosti používány k evaluaci velkých jazykových modelů a aplikuje je ve snaze ověřit jak dobře tyto modely fungují v českém jazyce. K tomuto účelu představuje Czech-Bench, nový evaluační framework využívající existující české datasety pro evaluaci úloh zpracování přirozeného jazyka spolu s nově přeloženými nejpoužívanějšími anglickými sadami. Tento framework je pak použit k porovnání schopností, které nejmodernější jazykové modely prokazují v českých a anglických úlohách.The field of large language model evaluation is currently rapidly developing in an attempt to keep up with the surging popularity of these powerful instruments. Even though new benchmarks and evaluation datasets are being proposed regularly, most of them are English-exclusive, leaving the performance these models achieve in less prominent languages largely uncertain. This thesis explores the techniques currently employed when evaluating large language models and utilizes them to determine how performant these models are in the Czech language. It introduces Czech-Bench, a new evaluation framework utilizing pre-existing Czech natural language processing datasets together with newly translated mainstream LLM benchmarks. This framework is then used to compare the performance of selected state-of-the-art language models achieved in Czech and English tasks.