Využití jazykových modelů pro detekci phishingových URL

Abstract

Phishingové útoky, zejména URL phishing, představují významnou hrozbu pro online bezpečnost a vyžadují stále sofistikovanější metody detekce. Tato práce zkoumá použití pokročilých jazykových modelů BERT a ELECTRA, které jsou založeny na architektuře Transformer, pro detekci phishingových URL adres. Zkoumá vliv předtrénování těchto modelů a jejich tokenizátorů na velkém souboru dat URL adres (48 mil. vzorků) a porovnává jejich výkon s modely předtrénovanými na textových korpusech. Zjištění ukázala, že předtrénování na datech URL adres významně zvýšilo hodnotu metriky recall (v některých případech až o 8.85 procentních bodů). To naznačuje, že předtrénování na doménově specifických datech modelům umožňuje hlubší porozumění strukturám a charakteristikám URL adres. Po fine- tuningu modely BERT dosáhly precision až 97.68% při recall hodnotě 43.65% a modely ELECTRA dosáhly precision až 96.49% při recall hodnotě 45.57%. Zároveň experimenty ukázaly, že při konkrétní velikosti modelů užitých v této práci model BERT mírně překonal model ELECTRA, a to z hlediska celkové přesnosti detekce.

Phishing attacks, particularly URL phishing, pose significant threats to online security, demanding increasingly sophisticated detection methods. This thesis explores the application of advanced language models, BERT and ELECTRA, both based on the Transformer architecture, for the task of detecting phishing URLs. It investigates the impact of pretraining these models and their tokenizers on large URL dataset (48 mil. samples), comparing their performance to models pretrained on text corpora. The findings showed that pre-training on URL data significantly increased the value of the recall metric (in some cases by as much as 8.85 percentage points). This suggests that pre-training on domain-specific data allows models to gain a deeper understanding of structures and characteristics of URLs. After fine- tuning, the BERT models achieved precision up to 97.68% with a recall value of 43.65% and ELECTRA models achieved precision up to 96.49% with a recall value of 45.57%. Furthermore, the experiments revealed that, for the specific model size used in this thesis, BERT slightly outperformed ELECTRA in terms of overall detection accuracy.