Víceúlohové učení pro NLP klasifikátory

Abstract

Nedávné inovace v oblasti zpracování přirozeného jazyka (anglicky natural language processing, NLP) umožnily vytvoření obecnějších neuronových jazykových modelů, které efektivně řeší více úloh v různých přirozených jazycích najednou. Tyto pokroky jsou výsledkem vývoje nových neuronových architektur, využívání metod vícejazyčného předtrénování a uplatnění víceúlohového učení (anglicky multitask learning, MTL). V návaznosti na tyto úspěchy se tato práce zaměřuje na zlepšení výkonu stávajících vícejazyčných neuronových klasifikátorů textů s využitím metod MTL, což vede k vývoji modelů, které kompetitivně řeší 6 úloh v 17 jazycích a dosahují tzv. state-of-the-art výsledků v úloze ověřování faktů (anglicky fact checking) v češtině, ČTKFactsNLI.

Recent advancements in the field of natural language processing (NLP) have led to more generalized neural language models that effectively tackle multiple tasks across diverse natural languages simultaneously. These advancements are driven by the development of novel neural architectures, the utilization of multilingual pre-training methods, and the deployment of multitask learning (MTL). Building upon these achievements, this thesis focuses on improving the performance of existing multilingual neural text classifiers by leveraging MTL methods, resulting in the development of models that competitively handle 6 tasks in 17 languages and achieve state-of-the-art results on the Czech fact-checking task, CTKFactsNLI.