Studium lineárního self-attention mechanismu v transformerech
The Study of Linear Self-Attention Mechanism in Transformer
| dc.contributor.advisor | Kovalenko Alexander | |
| dc.contributor.author | Uladzislau Yorsh | |
| dc.date.accessioned | 2022-06-04T22:53:00Z | |
| dc.date.available | 2022-06-04T22:53:00Z | |
| dc.date.issued | 2022-06-04 | |
| dc.identifier | KOS-1179143753005 | |
| dc.identifier.uri | http://hdl.handle.net/10467/101224 | |
| dc.description.abstract | Vzhledem k tomu, že kvadratická složitost mechanizmu vnímaní architektury Transformer způsobuje velké náklady na zpracování dlouhých posloupností, cílem dané práce je prozkoumat lineární varianty architektury a implementovat několik nových metod. | cze |
| dc.description.abstract | As the quadratic complexity of an attention mechanism in the Transformer architecture places a high demand on processing long sequences, the goal of this research is to explore possibilities of linear attention in Transformer-like architecture and implement new methods. | eng |
| dc.publisher | České vysoké učení technické v Praze. Vypočetní a informační centrum. | cze |
| dc.publisher | Czech Technical University in Prague. Computing and Information Centre. | eng |
| dc.rights | A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html | eng |
| dc.rights | Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html | cze |
| dc.subject | hluboké učení | cze |
| dc.subject | zpracování přirozeného jazyka | cze |
| dc.subject | transformer | cze |
| dc.subject | vnímaní | cze |
| dc.subject | neuronové sítě | cze |
| dc.subject | deep learning | eng |
| dc.subject | natural language processing | eng |
| dc.subject | transformer | eng |
| dc.subject | attention | eng |
| dc.subject | neural networks | eng |
| dc.title | Studium lineárního self-attention mechanismu v transformerech | cze |
| dc.title | The Study of Linear Self-Attention Mechanism in Transformer | eng |
| dc.type | diplomová práce | cze |
| dc.type | master thesis | eng |
| dc.contributor.referee | Kordík Pavel | |
| theses.degree.discipline | Znalostní inženýrství | cze |
| theses.degree.grantor | katedra aplikované matematiky | cze |
| theses.degree.programme | Informatika | cze |
Soubory tohoto záznamu
Tento záznam se objevuje v následujících kolekcích
-
Diplomové práce - 18105 [194]