Automatizovaný systém stahování webového obsahu potřebného k doplňování cleansetu

Abstract

Tato práce psaná v programovacím jazyku Python se zabývá zabezpečeným stahováním html a js souborů webových stránek k doplňování cleansetu antivirového programu. Stahování souborů probíhá na bázi zachytávání komunikace internetového prohlížeče ovládaného nástrojem Selenium. K zachytávání je využit MitM klient Fiddler. Zabezpečení je realizováno obalením stahovacího procesu do virtuálního prostředí s využitím nástroje VirtualBox. Část práce je ve formě Docker balíčku nasazena v systému Kubernetes, zbytek je spouštěn v systému Jenkins. Běh navrženého systému je monitorován s využitím nástroje Grafana. Díky tomuto monitorování bylo zjištěno, že navržený systém je schopný zachytávat statisíce souborů týdně. Práce dále zkoumá možnosti navrženého systému pro využití v oblasti malware analýzy.Purpose of this thesis written in Python language is secure downloading of html and js files from websites for antivirus cleanset updating. Files downloading is implemented by capturing web traffic of internet browser controlled by Selenium. Traffic capturing is provided by MitM client Fiddler. For security, the whole process is wrapped in virtual environment provided by VirtualBox. Part of the system is dockerized and deployed in Kubernetes, the rest is deployed in Jenkins. Whole system is continuously monitored with Grafana tool. Designed system is capable of capturing hundreds of thousands files a week. Furthermore, the thesis questions options of using the system for malware analysis.