Český korpus pro velký jazykový model
Czech Foundational Large Language Model Corpus
Type of document
diplomová prácemaster thesis
Author
Tommaso Gargiani
Supervisor
Šedivý Jan
Opponent
Král Luboš
Field of study
Datové vědyStudy program
Otevřená informatikaInstitutions assigning rank
katedra počítačůRights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item recordAbstract
Tato práce představuje vývoj největšího českého korpusu pro trénování velkých jazykových modelů, jenž obsahuje 167 miliard tokenů. Jeho rozmanité zdroje dat zajišťují komplexní pokrytí českého jazyka. Ke zvýšení kvality našeho korpusu byly použity důkladné procedury čištění, filtrace a deduplikace. Natrénovali jsme také několik jazykových modelů na podmnožině korpusu, abychom demonstrovali jeho potenciál stát se pevným základem pro trénování českého velkého jazykového modelu. This thesis presents the development of the largest Czech corpus for training large language models, comprising 167 billion tokens. Its diverse data sources ensure comprehensive coverage of the Czech language. Rigorous cleaning, filtering and deduplication procedures were employed to enhance the quality of our corpus. We also train several language models on a subset of the corpus to demonstrate its potential for becoming a solid foundation for training a Czech large language model.
Collections
- Diplomové práce - 13136 [892]