Český korpus pro velký jazykový model

Tommaso Gargiani

Czech Foundational Large Language Model Corpus

Type of document

diplomová práce
master thesis

Author

Tommaso Gargiani

Supervisor

Šedivý Jan

Opponent

Král Luboš

Field of study

Datové vědy

Study program

Otevřená informatika

Institutions assigning rank

katedra počítačů

Rights

A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html

Metadata

Show full item record

Abstract

Tato práce představuje vývoj největšího českého korpusu pro trénování velkých jazykových modelů, jenž obsahuje 167 miliard tokenů. Jeho rozmanité zdroje dat zajišťují komplexní pokrytí českého jazyka. Ke zvýšení kvality našeho korpusu byly použity důkladné procedury čištění, filtrace a deduplikace. Natrénovali jsme také několik jazykových modelů na podmnožině korpusu, abychom demonstrovali jeho potenciál stát se pevným základem pro trénování českého velkého jazykového modelu.

This thesis presents the development of the largest Czech corpus for training large language models, comprising 167 billion tokens. Its diverse data sources ensure comprehensive coverage of the Czech language. Rigorous cleaning, filtering and deduplication procedures were employed to enhance the quality of our corpus. We also train several language models on a subset of the corpus to demonstrate its potential for becoming a solid foundation for training a Czech large language model.