Locality sensitive hashing textových řetězců pro klasifikaci URL

Abstract

Na internetu se kromě neškodných URL adres setkáváme i s malým procentem adres škodlivých. Ty často vedou na podvodné, reklamní, či přímo nebezpečné webové stránky a návštěva takových stránek může způsobit infikování počítače. Abychom předešli takové situaci a následným škodám, jako je odcizení dat, chceme takové stránky identifikovat v předstihu podle jejich URL adresy. V současnosti se ke klasifikaci URL adres používají metody založené na kryptogra fických hašovacích funkcích a slovníkové reprezentaci. Po teoretickém úvodu je v této práci navržena míra podobnosti pro URL adresy a nová klasifikační metoda založená na podobnost zachovávajícím hašování (locality sensitive hashing). Nakonec je na reálných datech experiment álně ověřena vhodnost této metody pro úkol klasifikace URL adres a je provedeno srovnání se současnými metodami.

Users, when browsing the Internet, may occasionally encounter a malicious URL. These dangerous URLs often lead to fraudulent, advertising or even harmful websites. Visiting such pages can cause an infection of a computer. To prevent such situation and consequent harm, like data exfiltration, we would like to identify such websites in advance based on their URL. Nowadays, methods based on cryptographic hash functions and dictionary representation are used for the URL classification. After introducing the theoretical background, a similarity measure for URLs and a new classification technique based on locality sensitive hashing is designed. Finally, the suitability of this technique for the URL classification is experimentally verified on real data and compared with currently used methods.