Kontextové reprezentace pro predikce založené souborech logů
Contextual Embeddings for Predictions Based on Log Files
Typ dokumentu
diplomová prácemaster thesis
Autor
Petra Vaňková
Vedoucí práce
Drchal Jan
Oponent práce
Šír Gustav
Studijní obor
Kybernetická bezpečnostStudijní program
Otevřená informatikaInstituce přidělující hodnost
katedra počítačůPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Kontextové reprezentace (embeddingy) se staly důležitou součástí přirozeného zpracování jazyka (NLP), neboť umožňují zachycení informace o daném slově v kontextu celé sekvence textu. Současně nejmodernější technologie na vytváření kontextových reprezentací budou předmětem studia této práce se zaměřením na analýzu logů. Jedna z těchto technologií - model postavený na architektuře BERT - bude použita k vytvoření kontextových reprezentací logů z datasetu poskytnutého výhradně pro tuto práci. K vyhodnocení kvality těchto reprezentací bude použito několik regresních modelů s cílem predikce určitých hodnot v datasetu - konvoluční síť TCN, Longformer - další model postavený na architektuře BERT a jako výchozí bod kvality byla použita technologie fastText. Bohužel, žádný z těchto modelů se nebyl schopen na předložených datech natrénovat. Detekce anomálií s použitím konvoluční sítě TCN byla zvolena jako jednodušší přístup oproti regresi. Ani tento přístup bohužel nepřinesl lepší výsledky. Použití jiného datasetu by mohlo pomoci odhalit, jestli ten původní byl vhodně vybrán pro vyhodnocení kontextových reprezentací logů. Contextual embeddings have become a significant part of Natural Language Processing tasks, being able to capture information of a word in a context of a whole text sequence. Current state-of-the-art techniques of contextual embeddings are studied in this work in terms of log analysis. One of such techniques - a model based on BERT - is used to derive contextual embeddings of log lines included in a custom dataset provided. To evaluate the quality of embeddings created, several regression analysis models were chosen - Temporal Convolutional Network, the Longformer - also a BERT-based model and \textit{fastText} technique as a baseline approach. The aim of the models is to be able to predict certain values in the dataset. Unfortunately, none of these models was able to learn on the dataset. Anomaly detection problem was chosen as a simplification of the regression task and the TCN model was chosen for the evaluation. As neither this approach produced better results, leveraging of another dataset with similar features could verify whether the original dataset is a suitable choice for contextual embeddings evaluation.
Kolekce
- Diplomové práce - 13136 [833]