Učení složitých závislostí v textu pomocí relačních neurálních modelů
Learning Complex Natural Language Inferences with Relational Neural Models
Typ dokumentu
bakalářská prácebachelor thesis
Autor
Boris Rakovan
Vedoucí práce
Šír Gustav
Oponent práce
Drchal Jan
Studijní obor
Základy umělé inteligence a počítačových vědStudijní program
Otevřená informatikaInstituce přidělující hodnost
katedra kybernetikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Velké jazykové modely založené na neuronových sítích dosáhly v nedávné době pozoruhodných výsledků napříč mnoha úkoly z oblasti zpracování přirozeného jazyka (NLP). Přesto se ukázalo, že je pro tyto modely problematické vyvozovat z textu logické závěry vyžadující jeho hlubší porozumění. V této bakalářské práci se pokusíme adresovat tyto nedostatky tím, že prozkoumáme různé architektury z oblasti hlubokého strojového učení se speciálním zaměřením na jejich schopnost logické dedukce a přenášení naučených poznatků. Navrhneme a implementujeme několik neuronových modelů, včetně architektur z řádu hlubokého relačního učení, a všechny navržené modely následně otestujeme na vybraném úkolu z oblasti porozumění přirozeného jazyka (NLU). Dosažené výsledky nám pomohou demonstrovat významné rozdíly ve výkonu standardních NLP modelů, které na vstupu pracují s čistým textem, a pokročilejších modelů – obzvláště grafových a rekurentních neuronových sítí – které dokáží zpracovat vstupní data ve vhodnější strukturované formě. Kromě toho implementujeme vhodné formy předzpracování vstupních dat, což nám pomůže dosáhnout výsledků srovnatelných se state-of-the-art na daném datasetu. Large language models based on neural networks have recently achieved remarkable results across a wide range of NLP tasks. However, they still struggle with deeper understanding of semantics and reasoning about entities and their relationships. To address these shortcomings, in this thesis we examine alternative deep machine learning architectures with the intent of testing their logical reasoning and systematic generalization capabilities. We propose and implement several deep learning models, mainly from the deep relational learning category, and evaluate the proposed models on a textual benchmark selected from the NLU domain. In the empirical part, we manage to demonstrate the substantial performance gap between the standard NLU models that work with unstructured text data and more advanced models, mainly graph and recurrent neural networks, that allow to process more structured inputs. Finally, we propose suitable relational model biases to address the particular forms of relational reasoning in the selected benchmark and manage to achieve results comparable to state-of-the-art.
Kolekce
- Bakalářské práce - 13133 [777]