Český korpus pro velký jazykový model
Czech Foundational Large Language Model Corpus
Typ dokumentu
diplomová prácemaster thesis
Autor
Tommaso Gargiani
Vedoucí práce
Šedivý Jan
Oponent práce
Král Luboš
Studijní obor
Datové vědyStudijní program
Otevřená informatikaInstituce přidělující hodnost
katedra počítačůPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Tato práce představuje vývoj největšího českého korpusu pro trénování velkých jazykových modelů, jenž obsahuje 167 miliard tokenů. Jeho rozmanité zdroje dat zajišťují komplexní pokrytí českého jazyka. Ke zvýšení kvality našeho korpusu byly použity důkladné procedury čištění, filtrace a deduplikace. Natrénovali jsme také několik jazykových modelů na podmnožině korpusu, abychom demonstrovali jeho potenciál stát se pevným základem pro trénování českého velkého jazykového modelu. This thesis presents the development of the largest Czech corpus for training large language models, comprising 167 billion tokens. Its diverse data sources ensure comprehensive coverage of the Czech language. Rigorous cleaning, filtering and deduplication procedures were employed to enhance the quality of our corpus. We also train several language models on a subset of the corpus to demonstrate its potential for becoming a solid foundation for training a Czech large language model.
Kolekce
- Diplomové práce - 13136 [892]