Webová aplikace pro vyhledávání odcizených předmětů v online bazarech

Abstract

Tato práce se zabývá problémy souvisejícími s vyhledáváním odcizených předmětů online implementací systému, který využívá techniky scrapingu k agregování předmětů z online bazarů. Toto řešení umožňuje uživateli prohledávat datovou sadu takto získaných předmětů a nastavit si upozornění, aby obdržel zprávu, když je do datasetu přidána nová položka odpovídající jeho vyhledávacím kritériím. Systém se skládá z více služeb implementovaných docker kontejnery. Tyto služby používají ke komunikaci REST API a toto API je také vystaveno pro použití externím službám. Scraping samotný využívá fronty, které jsou zpracovávány asynchronně pomocí konzumentů postavenými nad frameworkem ReactPHP. Datová sada předmětů je uložena ve fulltextovém vyhledávači Elasticsearch, který poskytuje pokročilé možnosti vyhledávání a je snadno škálovatelný.

This thesis addresses problems associated with searching for stolen items online by implementing a system which scrapes online bazaars and aggregates the postings into one dataset. The solution then allows the user to search through the dataset and set up notifications so that they receive a message when a new item matching their search criteria is added. The system consists of multiple services implemented as docker images. These services use REST API to communicate and this API is also exposed for potential external services to use. Scraping makes use of messaging queues which are being processed asynchronously by consumers built on top of the ReactPHP framework. The dataset of items is stored in Elasticsearch which provides advanced search capabilities and is easy to scale.