ČVUT DSpace
  • Search DSpace
  • Čeština
  • Login
  • Čeština
  • Čeština
View Item 
  •   ČVUT DSpace
  • Czech Technical University in Prague
  • Faculty of Electrical Engineering
  • Department of Cybernetics
  • Bachelor Theses - 13133
  • View Item
  • Czech Technical University in Prague
  • Faculty of Electrical Engineering
  • Department of Cybernetics
  • Bachelor Theses - 13133
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.

Attention mechanizmus ve zpracování přirozeného jazyka

Attention Mechanism in Natural Language Processing

Type of document
bakalářská práce
bachelor thesis
Author
Anton Kretov
Supervisor
Genyk-Berezovskyj Marko
Opponent
Strnad Miroslav
Field of study
Informatika a počítačové vědy
Study program
Otevřená informatika
Institutions assigning rank
katedra kybernetiky



Rights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item record
Abstract
Technologie pro zpracování přirozeného jazyka (anglicky Natural Language Processing - NLP) se již delší dobu aktivně vyvijí pro nejrozšířenější světové jazyky, např. angličtinu a němčinu. Nicméně, existuje málo prací a řešení pro menší slovanské jazyky, kam patří i čeština. Tato práce je věnována obecně tématu NLP a algoritmům zpracování sekvenčních dat, je zaměřená především na nejnovější techniky, jež je Attention mechanismus a modely Transformer a Reformer, které jsou na tomto mechanismu založené. V práci je podrobně popsáno, jaké má attention mechanismus výhody oproti konvenčním rekurentním neuronovým sítím. Attention mechanismus je pak důsledně otestován na dvou různě složitých NLP úlohách v českém jazyce - doplnění chybějící diakritiky a abstraktní anotaci dlouhých textů.
 
Natural language processing (NLP) technologies have always been actively developed to solve tasks in the most widespread languages like English or German. However, there are a few papers and solutions dedicated to smaller Slavic languages like Czech. This paper describes various NLP algorithms of sequence processing. It is primarily focused on modern techniques like Attention mechanism and such architectures like Transformer or Reformer, which are built on it. This thesis examines what advantages this mechanism has compared to conventional recurrent neural networks. It is afterwards tested on two Czech NLP tasks of various degrees of complexity - diacritics correction and abstractive text summarization.
 
URI
http://hdl.handle.net/10467/87801
View/Open
PLNY_TEXT (2.894Mb)
PRILOHA (1.943Mb)
POSUDEK (258.9Kb)
POSUDEK (185.4Kb)
Collections
  • Bakalářské práce - 13133 [622]

České vysoké učení technické v Praze copyright © 2016 

DSpace software copyright © 2002-2016  Duraspace

Contact Us | Send Feedback
Theme by 
@mire NV
 

 

Useful links

CTU in PragueCentral library of CTUAbout CTU Digital LibraryResourcesStudy and library skillsResearch support

Browse

All of DSpaceCommunities & CollectionsBy Issue DateAuthorsTitlesSubjectsThis CollectionBy Issue DateAuthorsTitlesSubjects

My Account

Login

České vysoké učení technické v Praze copyright © 2016 

DSpace software copyright © 2002-2016  Duraspace

Contact Us | Send Feedback
Theme by 
@mire NV