Metody sumarizace textu v češtině
Text Summarization Methods in Czech
Type of document
bakalářská prácebachelor thesis
Author
Marian Krotil
Supervisor
Drchal Jan
Opponent
Šír Gustav
Field of study
Základy umělé inteligence a počítačových vědStudy program
Otevřená informatikaInstitutions assigning rank
katedra kybernetikyRights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item recordAbstract
Transformer architektura a modely, založené na této architektuře, předtrénované na rozsáhlých korpusech textu v posledních letech prokázaly značný úspěch v řešení různých úloh z oblasti Natural Language Processing. Tento koncept rovněž zahrnuje a usnadňuje úlohu sumarizace jak pro rozšířené jazyky jako Angličtina nebo Čínština, tak ale i pro menší jazyky jako je právě Čeština, kterou se tato práce zabývá. Úloha sumarizace spočívá v krátkém shrnutí delšího textu se zachováním všech důležitých informací. V této práci, je představen přístup použití předtrénovaného Transformer modelu mBART k vytváření českých abstraktních sumarizací. Tři české zpravodajské datasety, SumeCzech, privátní CNC, a jeden velký, vytvořený z předchozích dvou, jsou použity pro trénování modelů. Práce rovněž rozebírá vliv parametrů inferenčních metod na generování českých sumarizací. Provedené experimenty ukazují, že všechny naučené modely překonaly doposud nejlepší výsledky na všech úlohách datasetu SumeCzech, a rovněž dokazují, že model naučený na obou datasetech funguje nejlépe. The Transformer architecture and models derived from this architecture, pre-trained on large corpora of text, have shown considerable success in solving a wide range of Natural Language Processing tasks in recent years. This approach also incorporates and facilitates the task of summarization for widespread languages like English or Chinese, but also for less covered languages such as Czech, which is the focus of this work. The summarization task consists in forming a short summary from a long text while preserving all relevant information. This thesis presents an approach of applying the pre-trained Transformer model, mBART, to produce Czech abstractive summaries. Three Czech news datasets, SumeCzech, private CNC, and a large one developed from the previous two, are utilized for training the models. The thesis also studies the impact of the parameters of inference methods on generating Czech summaries. The experiments conducted demonstrate that all learned models achieved state-of-the-art results on all tasks of the SumeCzech dataset and prove that the model learned on both datasets performed the best.
Collections
- Bakalářské práce - 13133 [706]