Distribuované algoritmy pro trénink rozhodovacích lesů v úloze klasifikace síťového provozu

Abstract

V této práci se zaměřujeme na zlepšení výkonu distribuovaného trénování náhodných lesů v knihovně Spark MLlib. Trénovací proces optimalizujeme přidáním fáze lokálního trénování, ve které dotrénujeme podstromy pro dostatečně malé uzly lokálně v paměti jednotlivých strojů. Tyto uzly nejprve seskupíme do větších a vyváženějších lokálně trénovaných úloh pomocí binpackingu, a následně tyto úlohy efektivně rozplánujeme s pomocí prediktoru, který přesněji odhaduje jejich dobu trvání. Lokální trénování nám také umožňuje trénovat hluboké rozhodovací stromy a eliminovat část paměťových problémů v současné implementaci. Naši implementaci testujeme na velkých datech ze síťového provozu, která se používají k detekci malwaru. Na této trénovací sadě je náš algoritmus více než 105x rychlejší než původní implementace. Toto zlepšení nám umožňuje trénovat náhodné lesy na větších trénovacích sadách, což může výrazně zlepšit výkon klasifikátorů. Klasifikátor pro detekci malwaru, který byl natrénovaný algoritmem popsaným v této práci, se již aktivně používá v systému Cisco Cognitive Threat Analytics, a naše implementaci jej umožnila natrénovat na více než desetinásobném množství dat.

In this thesis, we focus on improving the performance of distributed random forest training in Spark MLlib. To optimize the training process, we introduce a local training phase in which we complete the tree induction of sufficiently small nodes in-memory. Further, we group these nodes into larger and more balanced local training tasks using bin packing and effectively schedule the tasks using an offline-trained predictor to predict task duration more accurately. Our algorithm allows training of deeper decision trees and mitigates runtime memory issues. We benchmark our implementation on a huge, real network traffic dataset used for malware detection, for which it is up to 105x faster than the original MLlib implementation. This performance improvement allows us to train random forests on larger datasets, which can significantly improve classification predictive performance. A classifier for malware detection trained using the algorithm presented in this thesis is actively used in the Cisco Cognitive Threat Analytics system. Thanks to our implementation, we were able to train it using 10x more data than before.