Aktivní učení pro klasifikaci textů

Abstract

Modely strojového učení pro klasifikaci jsou založené na učení parametrů black box modelu, které popisují vztah mezi vzorky dat a jejích třídou. Proces sběru dat a jejích labelů pro účely trénování modelu může být komplikovaný a drahý. Množina dat je v mnoha případech větší než množina dostupných labelů, ale našim předpokladem je to, že nové labely můžou být obdržené prostřednictvím dotazu anotátorovi. Aktivní učení je proces výběru takových dat pro anotování, které povedou ke zvýšení diskriminability datasetu. Mnoho různých metod aktivniho učení v mnoha různých odvětvích bylo navrženo pro úlohy v nichž se používá učení s učitelem. V tomto projektu jsou popsané a ukázané různé metody aktivniho učení pro klasifikaci textů. Navíc jsou porovnávané už existující black box modely a jejích reprezentace neurčitosti. Modely aktivniho učení jsou formalizované pomocí teorie rozhodování, kde rozhodnutím je výběr dat bez labelů pro získávání anotace a neurčitost je v parametrech klasifikátorů. Entropie predikce klasifikátoru je vybrána jako očekávaná ztrátová funkce pro rozhodovací úlohu. Modely hlubokého učení dosáhli state-of-the-art výsledků v různých odvětvích zpracování přirozeného jazyka a také v klasifikaci textu. Kombinace aktivniho učení pro výběr dat a navržené reprezentace neurčitosti založené na ensemblech hlubokých neuronových sítí dosáhla výrazně lepších výsledků než strategie náhodného výběru nebo aktivní učení s alternativní reprezentací neurčitosti.

Machine learning models for classification are based on learning the parameters of the black box model, which describe the relationship between the data samples and its class. The process of collecting data and its labels for model training purposes can be complicated and expensive. The data set is in many cases larger than the set of available labels, but our assumption is that new labels can be obtained by querying the annotator. Active learning is the process of selecting such data for annotation, which will increase the discrimination of the dataset. Many different methods of active learning in many different industries have been designed for tasks in which teacher learning is used. In this project, various methods of active learning for the classification of texts are described and shown. In addition, existing black box models and their representations of uncertainty are compared. Active learning models are formalized using decision theory, where the decision is to select data without labels for obtaining annotations and the uncertainty is in the parameters of the classifiers. The entropy of the classifier prediction is selected as the expected loss function for the decision task. Deep learning models have achieved state-of-the-art results in various branches of natural language processing and also in text classification. The combination of active learning for data selection and the proposed uncertainty representation based on deep neural network ensemble has achieved significantly better results than random selection strategies or active learning with an alternative uncertainty representation.