Shlukování dat ze síťové bezpečnosti pro efektivní lidskou analýzu

Abstract

Práce zkoumá využití shlukování při manuální analýze dat z oblasti síťové bezpečnosti. Výzkumníci často používají ručně vytvořené shlukovací metody k ruční analýze skupin příbuzných vzorků. Navrhujeme metriku pro měření toho, jak dobře se clusterovací algorithmus hodí k podobnému využití. Metrika je prezentována v podobě evaluačního protokolu, modelovaného podle situace, kdy má analytik za úkol ručně klasifikovat čerstvě shromážděná data pro použití na trénování klasifikátoru. Vybrané implementace částí evaluačního protokolu jsou důkladně popsány. Následně je testováno několik algoritmů, které jsou laděny tak, aby maximalizovaly navrhovanou metriku. Nejlépe fungující shlukování je použito na nesouvisejícím datasetu a shluky jsou analyzovány za účelem posouzení úspěšnosti navržené metriky.

The thesis examines the use of clustering in the manual analysis of data from network security. Researchers often use hand-crafted clustering techniques to analyze sets of related samples manually. We propose a metric to measure how well a clustering algorithm is suited for similar uses. The metric is presented as an evaluation protocol modeled after a situation where an analyst is tasked to manually label recently gathered data for use in classifier training. The selected implementations of each evaluation protocol part are thoroughly described. Several algorithms are then tested and fine-tuned to maximize the proposed metric. The best-performing clustering is used on an unrelated dataset, and the clusters are analyzed to assess the success of the proposed metric.