Český korpus pro velký jazykový model

Abstract

Tato práce představuje vývoj největšího českého korpusu pro trénování velkých jazykových modelů, jenž obsahuje 167 miliard tokenů. Jeho rozmanité zdroje dat zajišťují komplexní pokrytí českého jazyka. Ke zvýšení kvality našeho korpusu byly použity důkladné procedury čištění, filtrace a deduplikace. Natrénovali jsme také několik jazykových modelů na podmnožině korpusu, abychom demonstrovali jeho potenciál stát se pevným základem pro trénování českého velkého jazykového modelu.This thesis presents the development of the largest Czech corpus for training large language models, comprising 167 billion tokens. Its diverse data sources ensure comprehensive coverage of the Czech language. Rigorous cleaning, filtering and deduplication procedures were employed to enhance the quality of our corpus. We also train several language models on a subset of the corpus to demonstrate its potential for becoming a solid foundation for training a Czech large language model.