Datová sada pro automatizované ověřování faktů v českém jazyce
Dataset for Automated Fact Checking in Czech Language
Type of document
diplomová prácemaster thesis
Author
Herbert Ullrich
Supervisor
Drchal Jan
Opponent
Šír Gustav
Field of study
Umělá inteligenceStudy program
Otevřená informatikaInstitutions assigning rank
katedra počítačůRights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item recordAbstract
Naše práce prozkoumává existující datové sady pro úlohu automatického faktického ověřování textového tvrzení a navrhuje dvě metody jejich získávání v Českém jazyce. Nejprve předkládá rozsáhlý dataset FEVER CS se 127K anotovaných tvrzení pomocí strojového překladu datové sady v angličtině. Poté navrhuje sadu anotačních experimentů pro sběr nativního českého datasetu nad znalostní bází archivu ČTK a provádí ji se skupinou 163 studentů FSV UK, se ziskem 3,295 křížově anotovaných tvrzení s čtyřcestnou Fleissovou Kappa-shodou 0.63. Dále demonstruje vhodnost datové sady pro trénování modelů pro klasifikaci inference v přirozeném jazyce natrénováním modelu XLM-RoBERTa dosahujícího 85.5% mikro-F1 přesnosti v úloze klasifikace pravdivosti tvrzení z textového kontextu. Our work examines the existing datasets for the task of automated fact-verification of textual claims and proposes two methods of their acquisition in the low-resource Czech language. It first delivers a large-scale FEVER CS dataset of 127K annotated claims by applying the Machine Translation methods to a dataset available in English. It then designs a set of human-annotation experiments for collecting a novel dataset in Czech, using the ČTK Archive corpus for a knowledge base, and conducts them with a group of 163 students of FSS CUNI, yielding a dataset of 3,295 cross-annotated claims with a 4-way Fleiss' Kappa-agreement of 0.63. It then proceeds to show the eligibility of the dataset for training the Czech Natural Language Inference models, training an XLM-RoBERTa model scoring 85.5% micro-F1 in the task of classifying the claim veracity given textual evidence.
Collections
- Diplomové práce - 13136 [892]