Učení složitých závislostí v textu pomocí relačních neurálních modelů
Learning Complex Natural Language Inferences with Relational Neural Models
dc.contributor.advisor | Šír Gustav | |
dc.contributor.author | Boris Rakovan | |
dc.date.accessioned | 2022-06-02T22:51:59Z | |
dc.date.available | 2022-06-02T22:51:59Z | |
dc.date.issued | 2022-06-02 | |
dc.identifier | KOS-958759710405 | |
dc.identifier.uri | http://hdl.handle.net/10467/101015 | |
dc.description.abstract | Velké jazykové modely založené na neuronových sítích dosáhly v nedávné době pozoruhodných výsledků napříč mnoha úkoly z oblasti zpracování přirozeného jazyka (NLP). Přesto se ukázalo, že je pro tyto modely problematické vyvozovat z textu logické závěry vyžadující jeho hlubší porozumění. V této bakalářské práci se pokusíme adresovat tyto nedostatky tím, že prozkoumáme různé architektury z oblasti hlubokého strojového učení se speciálním zaměřením na jejich schopnost logické dedukce a přenášení naučených poznatků. Navrhneme a implementujeme několik neuronových modelů, včetně architektur z řádu hlubokého relačního učení, a všechny navržené modely následně otestujeme na vybraném úkolu z oblasti porozumění přirozeného jazyka (NLU). Dosažené výsledky nám pomohou demonstrovat významné rozdíly ve výkonu standardních NLP modelů, které na vstupu pracují s čistým textem, a pokročilejších modelů – obzvláště grafových a rekurentních neuronových sítí – které dokáží zpracovat vstupní data ve vhodnější strukturované formě. Kromě toho implementujeme vhodné formy předzpracování vstupních dat, což nám pomůže dosáhnout výsledků srovnatelných se state-of-the-art na daném datasetu. | cze |
dc.description.abstract | Large language models based on neural networks have recently achieved remarkable results across a wide range of NLP tasks. However, they still struggle with deeper understanding of semantics and reasoning about entities and their relationships. To address these shortcomings, in this thesis we examine alternative deep machine learning architectures with the intent of testing their logical reasoning and systematic generalization capabilities. We propose and implement several deep learning models, mainly from the deep relational learning category, and evaluate the proposed models on a textual benchmark selected from the NLU domain. In the empirical part, we manage to demonstrate the substantial performance gap between the standard NLU models that work with unstructured text data and more advanced models, mainly graph and recurrent neural networks, that allow to process more structured inputs. Finally, we propose suitable relational model biases to address the particular forms of relational reasoning in the selected benchmark and manage to achieve results comparable to state-of-the-art. | eng |
dc.publisher | České vysoké učení technické v Praze. Vypočetní a informační centrum. | cze |
dc.publisher | Czech Technical University in Prague. Computing and Information Centre. | eng |
dc.rights | A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html | eng |
dc.rights | Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html | cze |
dc.subject | zpracování přirozeného jazyka | cze |
dc.subject | porozumění přirozeného jazyka | cze |
dc.subject | hluboké relační učení | cze |
dc.subject | grafové neurónové sítě | cze |
dc.subject | klasifikace textu | cze |
dc.subject | natural language processing | eng |
dc.subject | natural language understanding | eng |
dc.subject | deep relational learning | eng |
dc.subject | graph neural networks | eng |
dc.subject | text classification | eng |
dc.title | Učení složitých závislostí v textu pomocí relačních neurálních modelů | cze |
dc.title | Learning Complex Natural Language Inferences with Relational Neural Models | eng |
dc.type | bakalářská práce | cze |
dc.type | bachelor thesis | eng |
dc.contributor.referee | Drchal Jan | |
theses.degree.discipline | Základy umělé inteligence a počítačových věd | cze |
theses.degree.grantor | katedra kybernetiky | cze |
theses.degree.programme | Otevřená informatika | cze |
Soubory tohoto záznamu
Tento záznam se objevuje v následujících kolekcích
-
Bakalářské práce - 13133 [778]