Detekce anomálií nasazování HTTP serverů

Abstract

Zajištění správného a efektivního provozu rozsáhlých počítačových systémů představuje zásadní výzvu, zejména s jejich rostoucí složitostí. Efektivní monitorování a detekce anomálií jsou nezbytné pro zachování jejich integrity, dostupnosti a výkonu, jelikož umožňují, mimo jiné, včasnou identifikaci a řešení hardwarových poruch, softwarových regresí a síťových problémů. Zaměřujeme se na problém detekce anomálií v metrikách HTTP proxy serverů a řešíme ho vývojem škálovatelného a konfigurovatelného systému pro detekci anomálií v časových řadách. Navrhovaný systém se skládá z gRPC servisy sloužící pro orchestraci monitorovacích procesů a sady nesupervizovaných modelů pro detekci anomálií s automatickým prahováním. Pro vyhodnocení navržených modelů bylo použito pět vlastních datových sad reprezentujících běžné anomálie v produkčním prostředí a jedna veřejně dostupná datová sada. Tato práce navíc poskytuje základní přehled metod predikce časových řad a detekce anomálií, společně se stručným úvodem do standardních metodologií pro monitorování výkonu systémů.Ensuring the correct and efficient operation of large-scale computer systems is a key challenge, mainly as systems grow in complexity and scale. Effective monitoring and anomaly detection are indispensable for maintaining the system integrity, availability, and performance, as they enable the timely identification and resolution of hardware failures, software regressions, and network issues. We focus on the problem of anomaly detection in HTTP proxy server metrics and address it by developing a scalable and configurable system for detecting anomalies in time series data. The proposed system comprises a gRPC-based monitoring job orchestration service and a suite of unsupervised anomaly detection models with automatic thresholding. Five custom datasets representing common anomalies in production environments and a publicly available dataset were used to evaluate the system. Furthermore, this work presents a foundational overview of time series forecasting and anomaly detection methods, as well as a brief introduction to systems performance monitoring methodologies.