Kontextové reprezentace pro predikce založené souborech logů

Abstract

Kontextové reprezentace (embeddingy) se staly důležitou součástí přirozeného zpracování jazyka (NLP), neboť umožňují zachycení informace o daném slově v kontextu celé sekvence textu. Současně nejmodernější technologie na vytváření kontextových reprezentací budou předmětem studia této práce se zaměřením na analýzu logů. Jedna z těchto technologií - model postavený na architektuře BERT - bude použita k vytvoření kontextových reprezentací logů z datasetu poskytnutého výhradně pro tuto práci. K vyhodnocení kvality těchto reprezentací bude použito několik regresních modelů s cílem predikce určitých hodnot v datasetu - konvoluční síť TCN, Longformer - další model postavený na architektuře BERT a jako výchozí bod kvality byla použita technologie fastText. Bohužel, žádný z těchto modelů se nebyl schopen na předložených datech natrénovat. Detekce anomálií s použitím konvoluční sítě TCN byla zvolena jako jednodušší přístup oproti regresi. Ani tento přístup bohužel nepřinesl lepší výsledky. Použití jiného datasetu by mohlo pomoci odhalit, jestli ten původní byl vhodně vybrán pro vyhodnocení kontextových reprezentací logů.

Contextual embeddings have become a significant part of Natural Language Processing tasks, being able to capture information of a word in a context of a whole text sequence. Current state-of-the-art techniques of contextual embeddings are studied in this work in terms of log analysis. One of such techniques - a model based on BERT - is used to derive contextual embeddings of log lines included in a custom dataset provided. To evaluate the quality of embeddings created, several regression analysis models were chosen - Temporal Convolutional Network, the Longformer - also a BERT-based model and \textit{fastText} technique as a baseline approach. The aim of the models is to be able to predict certain values in the dataset. Unfortunately, none of these models was able to learn on the dataset. Anomaly detection problem was chosen as a simplification of the regression task and the TCN model was chosen for the evaluation. As neither this approach produced better results, leveraging of another dataset with similar features could verify whether the original dataset is a suitable choice for contextual embeddings evaluation.