Distribuovaný a škálovatelný framework pro aktualizaci štítků v datových sadách využívaných k detekci kybernetických hrozeb.

Abstract

Tato práce se zabývá popisem základů internetového skenování a analýzou existujících skenovacích nástrojů. Následně se věnuje vývoji nového frameworku pro distribuované a škálovatelné skenování. Hlavní inovací tohoto řešení je zavedení skenovacích workflow, tedy plánů skenování, které umožňují skeneru dynamicky rozhodovat o dalším postupu na základě průběžně získaných výsledků. Framework dále obsahuje uživatelské rozhraní pro snadnou obsluhu a REST API pro integraci, například do automatizovaných anotátorů určených pro systémy strojového učení. Nově navržený systém byl následně nasazen a otestován v praxi při realizaci několika skenů celého IPv4 prostoru, například pro detekci běžících služeb na portu 443.

This thesis focuses on describing the fundamentals of internet scanning and analyzing existing scanning tools. Then it addresses the development of a new framework for distributed and scalable scanning. The main innovation of this solution is the introduction of scanning "workflows" or scanning plans, which allow the scanner to dynamically decide on the next steps based on continuously gathered results. The framework also includes a user interface for easy operation and a REST API for integration, for example, into automated annotators designed for machine learning systems. The newly designed system was subsequently deployed and tested in practice through several scans of the entire IPv4 space, such as the detection of running services on port 443.