Detekce phishingových emailů s využitím rozpoznávání pojmenovaných entit

Abstract

Phishing je vážný problém, který způsobuje nezanedbatelné finanční ztráty mnoha organizacím po celém světě. Současné metody pro detekci phishingu pro český jazyk jsou nedostatečné. Rozpoznávaní entit (NER) bylo úspěšně použito pro detekci phishing emailů v anglickém i jiných jazycích. Cílem této práce je použít NER pro určení cíle potenciálního phishing emailu a použít tuto informaci k detekci phishingu. Vyvinuli jsme rešení schopné detekovat cíl potenciálního phishing emailu. Naše řešení funguje dobře pro významné phishing cíle jako třeba finanční a technické společnosti. Dokázali jsme, že detekce phishing cíle je zdrojem cenných informací o phishing emailu a může být použita pro detekci phishingu. Náše řešení pro rozpoznání phishingu dosáhlo 86.9% úspěšnosti při použití pouze jedné vlastnosti vygenerované pomocí detekce phishing cíle. Při použití bežně používaných vlastností naše řešení dosáhlo 97.7% úspěšnosti. Přidání vlastností založených na detekci phishing cíle způsobilo malé zlepšení. Rešení dosáhlo 98% úspěšnosti. Pro rozpoznávání entit jsme použili Nametag, současně nepřekonaný NER pro český jazyk. Natrénovali jsme vlastní modely pro Nametag, použili jsme původní a vlastní přidaná data. NER jsme použili pro rozpoznání entit v emailu. Použili jsme vlastní řešení pro mapování jmen organizací na domény pomocí dat z ARES a Firmy.cz. Namapované domény jsme použili pro určení cíle potenciálního phishing útoku. Model pro Nametag byl otestován proti datům pro úkol z CoNLL2003 zabývající se rozpoznáváním entit. Detekce phishing cíle byla otestována pomocí 2628 emailů z dat od Email.cz. Nakonec jsme naše řešení pro detekci phishingu otestovali pomocí datasetu obsahujícího 3744 emailů z veřejných i neveřejných zdrojů.

Phishing is a serious problem that causes a significant financial loss to many companies wolrdwide. Current phishing detection methods for Czech language are not satisfactory. Named entity recognition (NER) was successfully used for phishing email detection in English and other languages. The goal of this thesis is to use NER to determine target of the potential phishing email and use this information to detect phishing emails. We have developed a solution that can detect target of the potential phishing email. Our solution works well for major phishing targets such as financial and technology organizations. We have proved that target detection gives a significant amount of information about the email and can be used to detect phishing. Our recognizer achieved 86.9% accuracy when using only one feature generated using target detection. When using only commonly used features the recognizer achieved 97.7% accuracy. Adding target based features gave us minor improvement and achieved 98% accuracy. For Named entity recognition we use Nametag, the state of the art NER for Czech language. We have trained our own models for Nametag using both original and custom data. NER is used to recognize organizations in email. Custom solution is used to map organizations to domains using data from ARES and Firmy.cz. Mapped domains are used to determine target of the potential phishing email. Target and collected historical data about domains is used to generate features for random forest classifier. Random forest classifier is used to detect whether or not the email is phishing attack. Nametag model was tested against CoNLL2003 shared task on Named entity recognition. Target detection solution was tested using 2628 emails from Email.cz data. Finally the phishing detection recognizer was tested using dataset containing 3744 emails from both public and private sources.