Učení složitých závislostí v textu pomocí relačních neurálních modelů

Abstract

Velké jazykové modely založené na neuronových sítích dosáhly v nedávné době pozoruhodných výsledků napříč mnoha úkoly z oblasti zpracování přirozeného jazyka (NLP). Přesto se ukázalo, že je pro tyto modely problematické vyvozovat z textu logické závěry vyžadující jeho hlubší porozumění. V této bakalářské práci se pokusíme adresovat tyto nedostatky tím, že prozkoumáme různé architektury z oblasti hlubokého strojového učení se speciálním zaměřením na jejich schopnost logické dedukce a přenášení naučených poznatků. Navrhneme a implementujeme několik neuronových modelů, včetně architektur z řádu hlubokého relačního učení, a všechny navržené modely následně otestujeme na vybraném úkolu z oblasti porozumění přirozeného jazyka (NLU). Dosažené výsledky nám pomohou demonstrovat významné rozdíly ve výkonu standardních NLP modelů, které na vstupu pracují s čistým textem, a pokročilejších modelů – obzvláště grafových a rekurentních neuronových sítí – které dokáží zpracovat vstupní data ve vhodnější strukturované formě. Kromě toho implementujeme vhodné formy předzpracování vstupních dat, což nám pomůže dosáhnout výsledků srovnatelných se state-of-the-art na daném datasetu.

Large language models based on neural networks have recently achieved remarkable results across a wide range of NLP tasks. However, they still struggle with deeper understanding of semantics and reasoning about entities and their relationships. To address these shortcomings, in this thesis we examine alternative deep machine learning architectures with the intent of testing their logical reasoning and systematic generalization capabilities. We propose and implement several deep learning models, mainly from the deep relational learning category, and evaluate the proposed models on a textual benchmark selected from the NLU domain. In the empirical part, we manage to demonstrate the substantial performance gap between the standard NLU models that work with unstructured text data and more advanced models, mainly graph and recurrent neural networks, that allow to process more structured inputs. Finally, we propose suitable relational model biases to address the particular forms of relational reasoning in the selected benchmark and manage to achieve results comparable to state-of-the-art.