Show simple item record

Attention Mechanism in Natural Language Processing



dc.contributor.advisorGenyk-Berezovskyj Marko
dc.contributor.authorAnton Kretov
dc.date.accessioned2020-06-11T14:34:31Z
dc.date.available2020-06-11T14:34:31Z
dc.date.issued2020-06-11
dc.identifierKOS-857605116705
dc.identifier.urihttp://hdl.handle.net/10467/87801
dc.description.abstractTechnologie pro zpracování přirozeného jazyka (anglicky Natural Language Processing - NLP) se již delší dobu aktivně vyvijí pro nejrozšířenější světové jazyky, např. angličtinu a němčinu. Nicméně, existuje málo prací a řešení pro menší slovanské jazyky, kam patří i čeština. Tato práce je věnována obecně tématu NLP a algoritmům zpracování sekvenčních dat, je zaměřená především na nejnovější techniky, jež je Attention mechanismus a modely Transformer a Reformer, které jsou na tomto mechanismu založené. V práci je podrobně popsáno, jaké má attention mechanismus výhody oproti konvenčním rekurentním neuronovým sítím. Attention mechanismus je pak důsledně otestován na dvou různě složitých NLP úlohách v českém jazyce - doplnění chybějící diakritiky a abstraktní anotaci dlouhých textů.cze
dc.description.abstractNatural language processing (NLP) technologies have always been actively developed to solve tasks in the most widespread languages like English or German. However, there are a few papers and solutions dedicated to smaller Slavic languages like Czech. This paper describes various NLP algorithms of sequence processing. It is primarily focused on modern techniques like Attention mechanism and such architectures like Transformer or Reformer, which are built on it. This thesis examines what advantages this mechanism has compared to conventional recurrent neural networks. It is afterwards tested on two Czech NLP tasks of various degrees of complexity - diacritics correction and abstractive text summarization.eng
dc.publisherČeské vysoké učení technické v Praze. Vypočetní a informační centrum.cze
dc.publisherCzech Technical University in Prague. Computing and Information Centre.eng
dc.rightsA university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmleng
dc.rightsVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.htmlcze
dc.subjectneuronové sítěcze
dc.subjectstrojové učenícze
dc.subjectNLPcze
dc.subjectdiakritikacze
dc.subjectneuronové strojové překladačecze
dc.subjectattention mechanismuscze
dc.subjectTranformercze
dc.subjectReformercze
dc.subjectTraxcze
dc.subjectabstraktní anotacecze
dc.subjectneural networkseng
dc.subjectmachine learningeng
dc.subjectNLPeng
dc.subjectdiacriticseng
dc.subjectneural machine translationeng
dc.subjectattention mechanismeng
dc.subjectTransformereng
dc.subjectReformereng
dc.subjectTraxeng
dc.subjectabstractive summarizationeng
dc.titleAttention mechanizmus ve zpracování přirozeného jazykacze
dc.titleAttention Mechanism in Natural Language Processingeng
dc.typebakalářská prácecze
dc.typebachelor thesiseng
dc.contributor.refereeStrnad Miroslav
theses.degree.disciplineInformatika a počítačové vědycze
theses.degree.grantorkatedra kybernetikycze
theses.degree.programmeOtevřená informatikacze


Files in this item





This item appears in the following Collection(s)

Show simple item record