Dataset normálního, škodlivého, útočného a ostatního síťového provozu v reálné síti

Abstract

Vzhledem k rostoucímu využívání technologií a zvyšujícímu se počtu kybernetických útoků je nezbytné mít k dispozici robustní a reprezentativní bezpečnostní datasety. Tyto datasety jsou klíčové pro získání informací, které nám pomohou vytvořit lepší nástroje pro odhalování bezpečnostních hrozeb. Většina současných bezpečnostních datasetů však postrádá několik aspektů, kvůli kterým nejsou pro výzkumné účely zcela vhodné. Přístup zvolený v rámci této této práce zahrnuje návrh nového datasetu na základě sběru požadavků od komunity profesionálů v počítačové bezpečnosti. Na základě těchto požadavků je pak navržen dataset, který je následně vytvořen ze síťového provozu realné počítačové sítě. Nově vytvořený dataset CTU-SME-11 obsahuje sedm dní síťového provozu na jedenácti zařízeních připojených ve vnitřní síti. Tato zařízení mají různé operační systémy, hardware a zamýšlené použití, což činí soubor dat velmi různorodým. Kromě člověkem generovaného neškodného provozu obsahuje datová sada chování malwaru, útoky uvnitř sítě a z internetu a zachycení provozu s exfiltrací dat. Nejhodnotnější částí datasetu je označení provozu, což umožňuje uživatelům jednoduše vyhodnotit efektivitu jejich modelů a algoritmů. Tato práce popisuje celý proces vytváření sady síťových dat o běžném provozu, provozu se škodlivým softwarem, provozu s útoky a provozu na pozadí v reálné síti. CTU-SME-11 obsahuje celkem přibližně 160 GB souborů PCAP a přibližně 99 000 000 označených síťových toků. Doufáme, že tato datová sada poslouží jako základ pro budoucí výzkum v oblasti síťové bezpečnosti. Snahou je, aby se stala novou referenční datovou sadou pro komunitu zabývající se kybernetickou bezpečností.

With the increasing use of technology and the growing number of cyber-attacks, the need for robust and representative security datasets is crucial to learn how to create better tools to detect security attacks. While security datasets have been valuable in advancing cybersecurity research, most existing datasets are limited in scope and do not capture the full range of threats and vulnerabilities. Improved datasets that address these limitations would enable faster progress in cybersecurity research. Our approach involves the design of a new network security dataset through interviews with the community, designing a dataset that uses real-world network traffic data, and doing known security attacks to create a diverse and representative dataset. The CTU-SME-11 dataset includes seven days of network traffic on eleven devices connected in an internal network. Those devices are of various operating systems, hardware, and intended use, which makes the dataset very heterogeneous. Apart from human-generated benign traffic, the dataset includes malware captures, attacks inside the network and from the internet, and attacks with data exfiltration. The biggest value of this dataset are ground-truth labels, which allow consumers to evaluate the performance of their models and algorithms accurately. This thesis describes the whole creation process of a network dataset of normal, malware, attack, and background traffic on a real network. The CTU-SME- 11 dataset contains in total around 160 GB of PCAP files and around 99,000,000 expert-labeled network flows. We hope that this dataset will serve as a foundation for future research in the field of network security datasets and will become a new benchmark dataset to be used by the cybersecurity community.