Aktivní učení pro metody zpracování přirozeného jazyka

Abstract

Zpracování přirozeného jazyka (anglicky Natural Language Processing) je oblastí výzkumu umělé inteligence, která si klade za cíl zpracování textu a extrakci znalostí z něj. Výzkum NLP se v současné době soustřeďuje kolem standardních přístupů, které jsou v praxi dobře osvědčeny. Nicméně problém sběru a anotace dat je stále velmi palčivý a hraje velmi důležitou roli ve mnoha úlohách strojového učení, obzvlášť ve zpracování přirozeného jazyka. V této práci studuji metody aktivního učení (anglicky Active Learning) - metodiku chytřejšího trénování modelů strojového učení, která si klade za cíl použítí menšího množství kvalitních dat, potřebných k natrénování modelů na požadovanou úroveň přesnosti. V této práci zároveň představuji svoji implementaci open-source knihovny pro další experimenty v této oblasti. Pomocí této knihovny jsem provedl několik experimentů, jež prokazují efektivitu metod aktivního učení a ukazují, které metody jsou nejslibnější. Nakonec se mi povedlo dosáhnout tzv. state-of-the-art výsledků v úloze ověření faktů (anglicky fact checking) na českém datasetu ČTKFactsNLI za pomocí jedné z metod aktivního učení.

Natural language processing (NLP) is a field that attracts lots of artificial intelligence researches who attempt to solve various tasks of processing text and extracting knowledge from it. NLP research is centered around several renowned technologies and methodologies which have proven to be promising and that are already helping in various aspects of life. However, the problem of data collection and data labelling is currently playing one of the most important roles in many machine learning problems, especially in natural language processing, where it is even more pronounced. In this thesis I examine active learning - a methodology for smarter training of machine learning models with less data by favoring those data entries that presumably contribute more to model's convergence. I also introduce an implementation of an open-source library for further experiments in this field. I conduct many experiments showing the impact of active learning compared to conventional models training and revealing the best performing active learning strategies. Finally, a state-of-the-art result on Czech NLI dataset CTKFactsNLI was achieved during experiments.