Aplikace Learning to Rank metod pro malé datasety

Abstract

Dostupnosť veľkého množstva trénovacích dát sa stalo neoddeliteľnou súčasťou vytvorenia kvalitného modelu využívajúceho strojové učenie. Pri použití strojového učenia v reálnych aplikáciach však mnohokrát nastáva problém s datasetmi, nakoľko ich veľkosť nie je dostatočná. Táto práca sa zaoberá uplatnením tzv. Learning to Rank (LTR) metód na malé datasety. V rámci práce skúmame efektivitu LTR modelu LambdaMART v porovnaní s tradičnými systémami na vyhľadávanie informácií. Vyhodnotili sme množstvo rôznych experimentov na 2 rôznych datasetoch -- dataset MS MARCO a český dataset DaReCzech. Experimenty sú navrhnuté tak, aby odpovedali na tri výskumné otázky. Otázky sa zameriavajú na porovnanie základného systému, ktorý využíva vyhľadávanie na základe termov oproti systému využívajúcemu Learning to Rank, ďalej potrebným počtom trénovacích dát a aký vplyv na výsledky má nahradenie základného systému za predtrénovaný transformer model. Dosiahnuté výsledky ukazujú, že LTR metódy dosahujú očividné zlepšenie oproti obom verziám základného systému, a to aj napriek použitiu obmedzeného množstva dát.

The availability of large datasets has become almost indispensable necessity for building a well-performing machine learning model. However, many real-world applications, especially those in specialised domains, offer only data limited in size. This thesis is devoted to appplication of Learning to Rank (LTR) methods to small datasets. In this thesis we explore the effectiveness of LambdaMART, a powerful LTR model, compared to a traditional Information Retrieval (IR) system. We conduct a series of multiple experiments on two different datasets, the MS MARCO dataset and a dataset in Czech language called DaReCzech. The experiments are designed with the purpose to answer three research questions. The questions focus on comparing a baseline term-based IR system with an LTR-enabled system system, the amount of training data needed, and the impact of replacing the term-based first-stage retrieval with pre-trained sentence transformer models. Our findings show, that LTR methods achieve a notable improvement over both types of baseline, even with the constrained training data.