Attention mechanizmus ve zpracování přirozeného jazyka

Abstract

Technologie pro zpracování přirozeného jazyka (anglicky Natural Language Processing - NLP) se již delší dobu aktivně vyvijí pro nejrozšířenější světové jazyky, např. angličtinu a němčinu. Nicméně, existuje málo prací a řešení pro menší slovanské jazyky, kam patří i čeština. Tato práce je věnována obecně tématu NLP a algoritmům zpracování sekvenčních dat, je zaměřená především na nejnovější techniky, jež je Attention mechanismus a modely Transformer a Reformer, které jsou na tomto mechanismu založené. V práci je podrobně popsáno, jaké má attention mechanismus výhody oproti konvenčním rekurentním neuronovým sítím. Attention mechanismus je pak důsledně otestován na dvou různě složitých NLP úlohách v českém jazyce - doplnění chybějící diakritiky a abstraktní anotaci dlouhých textů.

Natural language processing (NLP) technologies have always been actively developed to solve tasks in the most widespread languages like English or German. However, there are a few papers and solutions dedicated to smaller Slavic languages like Czech. This paper describes various NLP algorithms of sequence processing. It is primarily focused on modern techniques like Attention mechanism and such architectures like Transformer or Reformer, which are built on it. This thesis examines what advantages this mechanism has compared to conventional recurrent neural networks. It is afterwards tested on two Czech NLP tasks of various degrees of complexity - diacritics correction and abstractive text summarization.