Nástroj pro statistické zkoumání velkých toků dat

Abstract

Tato bakalářská práce představuje nástroj pro částečně řízenou analýzu DNS dat ze síťového provozu. Navrhovaná metoda zkoumá data na úrovni jednotlivých uživatelů a skládá se ze dvou částí: přípravy dat a modelování dat. Pro přípravu dat se zavádí nový způsob měření aktivity uživatelů, to jest normalizovaná entropie. Chování uživatelů v síti je reprezentováno časovou řadou hodnot entropie. Zmíněné časové řady jsou rozdělené do clusterů s využitím DTW jako měřítka podobnosti za účelem získání labelů pro řízené učení neuronové sítě. Modelovací část obsahuje obousměrnou LSTM neuronovou síť, která je trénovaná na behaviorálních řadách. Trénovaná neuronová síť je schopná rozpoznávat vzorce aktivity uživatelů v provozu v sítě ve skutečném čase.

This thesis presents a tool for semi-supervised statistical analysis of the DNS network traffic data. The proposed method examines the traffic on the host level and consists of the data preparation part and the modelling part. For the data preparation we introduce a new way of measuring the host activity, i.e. normalised entropy. Host behaviour in the network is represented as temporal sequence of entropy values. The temporal sequences of DNS packets are clustered with the DTW as a similarity measure in order to obtain class labels for a supervised training of the neural network. The modelling part consists of the bidirectional LSTM neural network which is trained on behavioural sequences. After the training, the neural network is able to recognise patterns of the host activity in real-time mode.