Rozšíření systému NEMEA pro nasazení v distribuovaném prostředí

Abstract

Množství dat, které musí v dnešní době monitorovací systémy zpracovávat, roste kvůli zvyšující se rychlosti počítačových sítí a přibývajícímu počtu připojených zařízení. Kvůli různým typům bezpečnostních hrozeb musí být většinou data zpracována mnoha detekčními algoritmy najednou s omezenými výpočetními prostředky. Pro zpracování velkého množství síťových dat se začíná používat paralelizace a vznikají škálovatelná řešení monitorovacích systémů. V rámci této diplomové práce byl pro účely výzkumu v oblasti paralelizace zpracování použit modulární open-source systém NEMEA. Tato práce se zabývá návrhem, realizací a testováním rozšíření systému NEMEA, které umožní distribuované nasazení systému, což díky paralelnímu zpracování řádově zvýší propustnost celého systému. Zvolený způsob paralelizace spočívá v rozdělování proudu síťových toků mezi výpočetní uzly. Navržené řešení je realizováno v podobě NEMEA modulu. Práce dále popisuje vytvořené testovací prostředí, ve kterém byly provedeny experimenty k ověření vlastností nového modulu. Všechny experimenty byly provedeny s reálnými daty z akademické sítě CESNET2. V závěru práce je představena škálovatelná architektura paralelního zpracování pomocí systému NEMEA.

As the speed and the size of computer networks grow, monitoring systems have to process increasing volume of data. Moreover, because of various kinds of security threats, all data must be processed by many detection methods at the same time with limited computational resources. Therefore, it is necessary to develop scalable solutions of monitoring systems allowing for parallel processing huge volume of data. This thesis uses modular and open-source system NEMEA for research in the field of parallel processing. The thesis deals with design, implementation and testing of NEMEA system extension, that allows for deployment in distributed environment. The extension increases throughput of the system using parallel processing. The paralelization is done by splitting a stream of flow records among computational nodes. Working prototype is implemented as a NEMEA module. The thesis further describes a testing environment used for experiments verifying the characteristics of the working prototype. All experiments were performed using real data traces from NREN CESNET2. The thesis is concluded by introducing a scalable architecture of parallel processing using NEMEA system.