Detekce dříve ověřených tvrzení

Abstract

V posledních letech došlo k razantnímu nárůstu počtu publikovaných fake-news. V reakci na tuto skutečnost je cílem této práce podpora stávajicích organizací zabývajích se fact-checkingem, které se v současnosti většinou spoléhají na manuální ověřování faktů, a to ve fromě detekce již dříve ověřených tvrzení, což by potenciálně mohlo pomoci výrazně snížit jejich pracovní zátěž. První část práce se zabývá představením teoretické části takové úlohy (úloha získávání informací) a různými modely, které ji mohou řešit. Prozkoumal jsem jak klasické modely, tak v současnosti populární Transformers sítě jako jsou BERT, RoBERTa, ELECTRA a dále různé destilované modely. Teoretická část je doplněná krátkým představením přístupů k používání takových modelů. V druhé části práce byli představeny a provedeny experimenty na veřejně dostupných datasetech. Tyto experimenty, provedené na cross-attention a two-tower modelech Transformers modelech, nám umožní porovnat výpočetní náročnost a především výkonost, měřenou několika metrikami představenými v teoretické části práce, jednotlivých vybraných modelů. Totožné experimenty jsou pak zopakovány na vybraných modelech po jejich dotrénování za využití představených datasetů. V této části také experimentujeme s různými přístupy k trénování, týkajicích se výběru negativních vzorků a to porovnáním hard negative samples a random negative samples. Výše uvedené výsledky jsou pak také porovnány s tradičním (BM-25) modelem.

In recent years, with the significant increase in fake news published daily, there is a need for a reaction. This thesis focuses on the support of current fact-checking organizations, which nowadays mostly rely on manual fact-checking in the form of the detection of previously fact-checked claims, a process that could potentially offload a significant portion of their workload. In the first part, there is a description of the theoretical background of such a task (information retrieval task) and the various models available to perform it -- including both traditional and neural models (in the form of recently very popular transformer models) such as BERT, RoBERTa, ELECTRA and various distilled models. The theoretical part is accompanied by a brief introduction of approaches to the usage of such models. In the second part, experiments are introduced and conducted on publicly available datasets described in corresponding sections. These experiments, run on cross-attention, and two-tower neural models, allow us to compare the performance of various chosen models in terms of computational cost and, most importantly, quality, measured by various metrics introduced in the theoretical part. These same experiments are also performed on the same models after finetuning them using the introduced datasets, where we also experiment with a sampling of negative samples by comparing hard and random negative samples. The comparison was run not only between various neural models but also against a strong baseline which was a traditional (BM-25) model.