Detekce anomálií v komplexních IT architekturách
Anomaly detection in complex IT architectures
Type of document
diplomová prácemaster thesis
Author
Ondřej Borovec
Supervisor
Svatoš Martin
Opponent
Brabec Jan
Field of study
Datové vědyStudy program
Otevřená informatikaInstitutions assigning rank
katedra počítačůRights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item recordAbstract
Detekce problémů a anomálií hraje důležitou roli při správě a tvoření komplexních softwarových řešeních. Brzká detekce potenciálního problémů pomáhá správcům takových systémů rychle reagovat a v důsledku snižovat riziko odstávky služby a ztráty peněz. Naneštěstí současná řešení pro monitoring zaostávají za rychle rostoucím I.T. průmyslem a velikostí samotných softwarových řešeních. Tato práce je zaměřena na řešení problémů známé společnosti a má za úkol navrhnout nový kompletní řešení pro detekci anomálií. V rámci výzkumu této problematiky jsme se zabývali doporučenými řešeními monitorovacích systémů, jaké techniky detekce anomálií mohou být použity a které vlastnosti a příznaky architektur mají být sbírány a následně zpracovány. Námi navržený systém zaznamenával každodenní chování dvou různých architektur a tyto data jsou publikovány společně s touto prací jako vědecký dataset s anotacemi vytvořenými experty na dané architektury. Identifikovali jsme potencionální slabiny uznávaných nejmodernějších metod a navrhli modifikaci jedné z nich na řešení tohoto problému. Také jsme navrhli a implementovali nový model založený na grafových strukturách sloužící jako generalizace současných řešení. Naše modely byly experimentálně vyhodnoceny v porovnání se zmíněnými uznávanými algoritmy na námi vytvořeném datasetu. Naše řešení se prokázalo být stejné kvality a v některých vlastnostech dokonce lepší. Anomaly detection is a crucial aspect of software architecture maintenance and building a stable system. With early problem detection operators can react quickly to reduce potential downtime risk resulting in data and money saving, therefore a reliable real-time anomaly detection system is highly desired. Unfortunately, currently used monitoring techniques are lacking behind fast-growing industry applications and scale of used architectures. This thesis aims at solving a problem of a renown company to design a new end-to-end solution for anomaly detection. We reviewed and discuss the best practices of designing such monitoring system, what anomaly detection techniques can be used, what metrics and features to collect and how to represent them. Collected logs and metrics by our system were preprocessed and released as a research dataset together with this work. The dataset records several days of anonymized runtime behaviour of 2 architectures with expert annotations of anomalous behaviour based on expert experience. We identified potential weaknesses of current state-of-the-art models and propose a modification called Timed workflow inference to address this issue. We also designed and implemented a new graph-based model - Timed graph workflow - to generalize some strict rules of other solutions. Our models were experimentally evaluated with other state-of-the-art anomaly detection models using our dataset. The proposed solutions proved to be competitive and in several aspects even better.
Collections
- Diplomové práce - 13136 [892]