Herne teoretická optimalizace detekce škodlivého chování

Abstract

Klasifikátory založené na strojovém učení se používají v takových bezpečnostních aplikacích jako detekce podvodného chování nebo detekce narušení bezpečnosti počítačových ve snaze předejít detekci. Avšak klasické metody strojového učení se s tím nedokážou vypořádat jelikož jsou založené na předpokladu že budoucí pozorování budou odpovídat rozložení trenovácích dat. S použitím relevantní literatury možné útoky na klasifikátory vyplývající z této jejich limitace jsou analyzovány spolu s existujícími metodami reakce na nebezpečí útoků. Diskutujeme že místo ignorování existence adaptability útočníků a opravy následně způsobené škody je výhodnější namodelovat soupeře pomocí teorie her s následnou predikcí a omezením jeho možností způsobovat škodu. Jenže byla zjištěna mezera mezi praktickými požadavky na klasifikátory a vlastnostmi existujících modelů herně teoretické optimalizace detekce škodlivého chování. V této práci vyvíjíme postup který vyplní danou mezeru. Praktická aplikovatelnost navržené metody byla vynucena spoluprací s Divizí Bezpečnosti společnosti O2 Czech Republic a.s.: nová metodabyla vyvinuta jako vylepšení interního systému na detekci podvodného chování. Ve výsledku navrženou metodu se dá aplikovat na binární klasifikátor jako na černou skříňku, bez omezení na použitý algoritmus strojového učení. Navíc vyvinutý postup umožňuje omezovat poměr falešných poplachů, což je zásadním požadavkem v bezpečnostních aplikacích strojového učení. Dále model bere v úvahu skutečnost že existují různé typy útočníka. Kromě toho variabilita typů útočníka a zisky v rámci modelu jsou odvozený na základě nasbíraných datech, což minimalizuje počet hypotéz nepodložených pozorováními. Taky model bere v potaz omezenou racionalitu útočníků. Součástí pozorováními. Taky model bere v potaz omezenou racionalitu útočníků. Součástí postupu jsou i vyvinuté efektivní algoritmy na počítání několika herně teoretických konceptů řešení: Nashovy rovnováhy, Stackelbergovy rovnováhy i Stackelbergovy rovnováhy za omezení na poměr falešných poplachů. Díky efektivitě navržených algoritmů je očekáváno že vyvinutý postup zůstane aplikovatelný i pro větší soubory dat. Nakonec efektivita postupu je demonstrována pomocí rozsáhlé experimentální evaluace. S využitím dat z klasifikátorů pro detekce narušení bezpečnosti bylo ukázáno že navržené algoritmy jsou lepší než existující alternativy. Dále na případě detekce podvodného chování v O2 Czech Republic je ukázáno že vyvinutá metoda zachovává účinnost klasifikátoru bez herně teoretické optimalizace na statických datech a vylepšuje robustnost klasifikace pokud se útočník chová v souladu s navrženým modelem.

Machine learning classifiers are used in security applications such as fraud detection or intrusion detection in computer networks. In applications of this kind the classified entities tend to evolve in time attempting to avoid detection. However, classical machine learning methods fail to address the issue, assuming that future observations would follow the same distribution as training data. Based on related work we analyze possible attacks against a classifier arising due to this limitation and survey existing approaches to deal with the attacks. We discuss that rather than ignoring the adaptivity and repairing the damage once it occurs, it is more advantageous to model the adversary by means of game theory and mitigate his ability to cause the damage in a predictive manner. Yet, we identify a gap between practical requirements on adversarial classifiers and properties of the present methods for game theoretic optimization of detecting malicious behavior. In this thesis we develop an approach filling the gap. Practical applicability of the method was enforced by the collaboration with the Security Division of O2 Czech Republic telecommunications company: the novel method was developed as an improvement for the company?s internal fraud detection system. As a result, the devised method can be applied to any binary classifier as a black box, not limiting the modeling power of the used machine learning algorithm. Moreover, the approach enables restricting a false alarm rate, satisfying a crucial requirement in the security domain. Furthermore, the model takes into consideration the fact that there are different types of adversaries. In addition, both variability of the adversary types and utilities in the model are derived based on collected data, minimizing hypotheses unfounded with observations. The model also addresses the bounded rationality of adversaries. As part of the approach, we develop efficient algorithms for computation of several solution concepts: Nash equilibrium, Stackelberg equilibrium and Stackelberg equilibrium under the restriction on false alarm rate. Thanks to the algorithms efficiency the approach is expected to remain applicable in case of large datasets. Finally, the efficacy of the developed approach is demonstrated via extensive experimental evaluation. Using data from real-world intrusion detection classifiers, it is shown that the developed algorithms are superior compared to available alternatives. Next, on the case of O2 Czech Republic fraud detection it is demonstrated that the developed method preserves out-of-sample performance of the classifier without the game theoretic optimization, while improving robustness of the classification when the attacker behaves in accordance with the model.