Metody sumarizace textu v češtině

Abstract

Transformer architektura a modely, založené na této architektuře, předtrénované na rozsáhlých korpusech textu v posledních letech prokázaly značný úspěch v řešení různých úloh z oblasti Natural Language Processing. Tento koncept rovněž zahrnuje a usnadňuje úlohu sumarizace jak pro rozšířené jazyky jako Angličtina nebo Čínština, tak ale i pro menší jazyky jako je právě Čeština, kterou se tato práce zabývá. Úloha sumarizace spočívá v krátkém shrnutí delšího textu se zachováním všech důležitých informací. V této práci, je představen přístup použití předtrénovaného Transformer modelu mBART k vytváření českých abstraktních sumarizací. Tři české zpravodajské datasety, SumeCzech, privátní CNC, a jeden velký, vytvořený z předchozích dvou, jsou použity pro trénování modelů. Práce rovněž rozebírá vliv parametrů inferenčních metod na generování českých sumarizací. Provedené experimenty ukazují, že všechny naučené modely překonaly doposud nejlepší výsledky na všech úlohách datasetu SumeCzech, a rovněž dokazují, že model naučený na obou datasetech funguje nejlépe.

The Transformer architecture and models derived from this architecture, pre-trained on large corpora of text, have shown considerable success in solving a wide range of Natural Language Processing tasks in recent years. This approach also incorporates and facilitates the task of summarization for widespread languages like English or Chinese, but also for less covered languages such as Czech, which is the focus of this work. The summarization task consists in forming a short summary from a long text while preserving all relevant information. This thesis presents an approach of applying the pre-trained Transformer model, mBART, to produce Czech abstractive summaries. Three Czech news datasets, SumeCzech, private CNC, and a large one developed from the previous two, are utilized for training the models. The thesis also studies the impact of the parameters of inference methods on generating Czech summaries. The experiments conducted demonstrate that all learned models achieved state-of-the-art results on all tasks of the SumeCzech dataset and prove that the model learned on both datasets performed the best.