Detekce anomálií v komplexních IT architekturách

Abstract

Detekce problémů a anomálií hraje důležitou roli při správě a tvoření komplexních softwarových řešeních. Brzká detekce potenciálního problémů pomáhá správcům takových systémů rychle reagovat a v důsledku snižovat riziko odstávky služby a ztráty peněz. Naneštěstí současná řešení pro monitoring zaostávají za rychle rostoucím I.T. průmyslem a velikostí samotných softwarových řešeních. Tato práce je zaměřena na řešení problémů známé společnosti a má za úkol navrhnout nový kompletní řešení pro detekci anomálií. V rámci výzkumu této problematiky jsme se zabývali doporučenými řešeními monitorovacích systémů, jaké techniky detekce anomálií mohou být použity a které vlastnosti a příznaky architektur mají být sbírány a následně zpracovány. Námi navržený systém zaznamenával každodenní chování dvou různých architektur a tyto data jsou publikovány společně s touto prací jako vědecký dataset s anotacemi vytvořenými experty na dané architektury. Identifikovali jsme potencionální slabiny uznávaných nejmodernějších metod a navrhli modifikaci jedné z nich na řešení tohoto problému. Také jsme navrhli a implementovali nový model založený na grafových strukturách sloužící jako generalizace současných řešení. Naše modely byly experimentálně vyhodnoceny v porovnání se zmíněnými uznávanými algoritmy na námi vytvořeném datasetu. Naše řešení se prokázalo být stejné kvality a v některých vlastnostech dokonce lepší.

Anomaly detection is a crucial aspect of software architecture maintenance and building a stable system. With early problem detection operators can react quickly to reduce potential downtime risk resulting in data and money saving, therefore a reliable real-time anomaly detection system is highly desired. Unfortunately, currently used monitoring techniques are lacking behind fast-growing industry applications and scale of used architectures. This thesis aims at solving a problem of a renown company to design a new end-to-end solution for anomaly detection. We reviewed and discuss the best practices of designing such monitoring system, what anomaly detection techniques can be used, what metrics and features to collect and how to represent them. Collected logs and metrics by our system were preprocessed and released as a research dataset together with this work. The dataset records several days of anonymized runtime behaviour of 2 architectures with expert annotations of anomalous behaviour based on expert experience. We identified potential weaknesses of current state-of-the-art models and propose a modification called Timed workflow inference to address this issue. We also designed and implemented a new graph-based model - Timed graph workflow - to generalize some strict rules of other solutions. Our models were experimentally evaluated with other state-of-the-art anomaly detection models using our dataset. The proposed solutions proved to be competitive and in several aspects even better.