Detekce anomálií z logů

Abstract

Tato diplomová práce se zabývá možností aplikovat nedávné pokroky v oblasti zpracování přirozeného jazyka (NLP) na problém detekce anomálií z logů. Konkrétně zkouší, zda lze použít fastText, jakož to pokročilou metodu NLP embeddingu, k reprezentaci logů, jejichž text neobsahuje přirozený jazyk, ale je to stále nestrukturovaná nebo jen částečně strukturovaná informace ve formě čitelného textu. Navrhnutá reprezentace logů je použita jako vstup pro detekci anomálií se supervizovanými i nesupervizovanými modely založenými na LSTM neuronových sítích. Výslendé modely byly vyhodnoceny a porovnány s dalšími metodami detekce anomálií na dvou veřejně dostupných datasetech. Supervizované modely dosáhly velmi dobrých výsledků a v pozovnání se umístili mezi nejepšími metodami.This thesis explores possibilities of applying recent advancements in NLP domain to log anomaly detection. More specifically it tests whether fastText, as advanced NLP embedding approach, can be used to model logs, which do not contain typical natural language, but they are unstructured or semi-structured human readable text. Proposed log representation was used as input for supervised and unsupervised LSTM based anomaly detection models. These models were evaluated in multiple experiments and compared witch anomaly detection method on two publicly available datasets. Supervised approach showed some really good results and placed among the best methods in benchmark.