ManaTi: Webová aplikace pro analýzu hrozeb využívající podobnosti domén

Abstract

Nárůst výskytu malware a jeho různorodosti vede k vývoji nových metod jeho detekce. Jedním z problémů, kterým musí bezpečností analytici čelit je velké množství dat z provozu na síti, které je nutné manuálně kontrolovat. Zvětšující se množství dat vede k tomu, že tato ruční analýza je zdlouhavá a též k nárůstu nepřesností. Tento problém nastává i když firmy povolují uživatelům pouze použití protokolů HTTP a HTTPS, které často stačí k jejich práci. Tvůrci malware se ale adaptují na tento trend a malware analytici zaznamenali posun komunikace malware právě ke zmíněným protokolům. Základní jednotka při analýze provozu na síti se nazývá weblog. Přestože Analýza weblogů může být použita k detekování útoků, tento proces je velice komplikovaný a vyžaduje mnoho znalostí. Mezi ně patří například analýza vzorců chování nebo využití informací ze služby WHOIS. V obou zmíněných technikách je velmi důležitý lidský faktor. Protože zajištění přesnosti při ručním zpracování milionů zaznamů je zválšť obtížný úkol, bezpečnostní analytici potřebují nástroj, který tento proces usnadní a urychlí. Projekt ManaTI vznikl jako asistenční nástroj pro bezpečností experty. ManaTI využívá algoritmů strojového učení k urychlení a zpřesnění procesu detekce hrozeb. Projekt má dva hlavní cíle: Za prvé: vytvořit webové rozhraní napomáhající analytikům s analýzou weblogů a hledáním doplňujících informací o jednotlivých domén. Za druhé: využití strojového učení k vyhledávání a určování podobností v informacích ze služby WHOIS pro jednotlivé domény. Tato metoda pracuje na základě vzdáleností mezi vektory získanými z WHOIS informací jednotlivých domén.

The increasing diversity and amount of malware traffic is pushing researchers to find better detection methods. When security practitioners analyze such large amount of traffic, they are usually overwhelmed and, therefore they analyze each time less traffic with less accuracy. This overwhelming problem data happens even when companies filter out part of their outgoing traffic. Given that users inside a company mostly need web services to work, it is usual only allow web traffic is going out of the enterprise. However, malware is aware of this filtering, and in the last years, we have witnessed a shift in malware towards using web services for their connections. For analyzing HTTP/S traffic, the default unit of analysis is called a weblog, from a log for the web traffic. These weblogs are used to find threats in the network, but a significant amount of expertise is needed for doing so. The required knowledge ranges from looking for domains which have been reported as malicious, to analyzing the patterns in the URLs and using the WHOIS information of the domains. These techniques highly depend on humans. All in all, analyzing millions of weblogs with speed and accuracy, balancing the amount of information and finding threats is at least a daunting task. Security analysts need a tool to help them organize their work and a machine learning algorithm that can improve the detection and speed up the analysis. It is in this context that we researched and created a new tool to assist the network security analysts to find threats: the ManaTI project. This project has two primary goals: First, to help analysts by means of a web interface, in evaluating the weblogs to better find and process the information. Second, to create a machine learning method that can identify domains which share some similarity in their WHOIS Information. Our algorithm can work as a WHOIS classification of similar domains also called WHOIS similarity distance.