Zkvalitňování modelů Natural Language Inference pro numerické dotazy

Abstract

Tato práce zkoumá numerické a kvantitativní uvažování u nejmodernějších modelů. Zaměřuje se na matematické slovní úlohy a modely explicitně vycvičené k jejich řešení. Kromě těchto řešitelů, jsou srovnávány také Large Language Models, protože jejich mnohostranná povaha vytváří očekávání na zběhlost i v této oblasti. Pozornost je věnována také dostupným datasetům a jejich vlivu. Největší pozornost je věnována Ape210K datasetu a tato práce navrhuje model, který filtruje problémy považované za nevhodné pro trénování výše zmíněních modelů.This thesis examines the numeracy and quantitative reasoning abilities of state-of-the-art models. It focuses on math word problems and models trained explicitly to solve them. Apart from solvers, Large Language Models are also benchmarked, as their multi-faceted nature creates expectations of proficiency in the field. Attention is also cast on the available datasets \& their impact. The Ape210K dataset is the primary observation target, and this thesis proposes a model that filters out problems deemed unfit for training solvers and QR reasoners.