Framework pro detekci hrozeb z heterogennich dat

Abstract

Detekce behaviorálních anomálií je široce používaná metoda pro ochranu počítačových sítí proti moderním útokům. Systémy behaviorální analýzy uživatelů a entit (UEBA) sledují chování entit a odhalují v něm vzorce běžné pro malware. Pro monitorování počítačových sítí lze použít mnoho heterogenních zdrojů telemetrie. Mohou to být síťové toky, logy z koncových zařízení a logy z aplikačních serverů. Vytvořit kombinovanou telemetrii z těchto zdrojů je náročné, ale může to výrazně rozšířit detekční schopnosti systémů UEBA. Tato práce navrhuje architekturu typu pipeline, která obsahuje tři nezávislé vrstvy pro zpracování kombinované telemetrie ze sítě i koncových zařízení. První vrstva kombinuje zdroje telemetrie do normalizovaného formátu. Vrstva Event generation ji předává modelům určeným pro detekci anomálií a ty z ní generují bezpečnostní události. Poslední vrstva používá vygenerované bezpečnostní události pro automatickou detekci hrozeb. Implementace navrhovaného konceptu vrstvy Event generation byla úspěšně otestována na telemetrii z více než 25 různých privátních sítí. Velikosti sítí se pohybovaly od stovek do stovek tisíc zařízení. Jednalo se o sítě z různých odvětví, jako akademické sféra, finančnictví, doprava a medicína. V rámci práce je zaveden nový postup pro vytváření embeddingů síťových entit pomocí Bag of Words modelů s použitím časových okének. Kombinace vytvořených embeddingů byla úspěšně otestována na problému sledování zařízení v průběhu času. Tento přístup rovněž umožňuje vytvořit nové typy modelů pro sledování náhlé změny chování zařízení.Behavioral anomaly detection is the state-of-the-art method for protecting computer networks against modern attacks. User and entity behavioral analytics (UEBA) systems track the behavior of entities to uncover patterns common for malicious software. Computer network can be monitored using many heterogeneous types of telemetry sources. They include network flows, endpoint logs, and application-specific server logs. The combination of information from these sources is challenging, but it can vastly extend the detection capabilities of a UEBA framework. This thesis proposes framework containing three independent layers for processing combined telemetry from both network and endpoints. The first layer combines the telemetry sources in a normalized format. The combined telemetry is forwarded to anomaly detection models in the event generation layer. Generated events are then used for automated threat detection in the last layer. The proof-of-concept implementation of the event generation layer was successfully tested using telemetry from more than 25 different private networks. Sizes of these networks ranged from hundreds to hundreds of thousands of devices in multiple industries, including academia, finance, transportation, and medicine. The thesis also introduces a new approach for embedding network entities by time window Bag of Words models in latent space. A combination of these embeddings was successfully tested for device tracking over time. It is also a prerequisite for a new type of behavioral models, such as a model for detection of a sudden change in behavior.