Konfigurovatelný web scraper internetového zpravodajství

Abstract

Diplomová práca sa zaoberá návrhom a implementáciou konfigurovateľného webového scrapera pre extrahovanie dát zo spravodajských portálov s využitím RSS kanálov a používateľom nastavenými pravidlami extrakcie. Ovládanie scrapera bude možné cez webovú aplikáciu. Úvodná časť mojej diplomovej práce sa zaoberá analýzou spravodajských portálov a ich variantami publikácie dát. Súčasne sa zaoberá obecným priblížením fungovania web scrapingu. Druhá časť práce sa zaoberá analýzou existujúcich riešení, ktoré ponúkajú web scraping ako SaaS službu. Zároveň sú analyzované aj programovacie jazyky a ich rozšírenia, ktoré sa na web scraping využívajú. Tretia časť práce sa zaoberá vytvorením funkčných a nefunkčných požiadaviek podľa vyhodnotenia z analýzy, súčasne návrhu používateľského rozhrania. Štvrtá časť diplomovej práce sa zaoberá implementáciou funkčných požiadaviek a následného testovania webovej aplikácie. Webová aplikácia je implementovaná pomocou Node.js, frameworku React a databázy MongoDB.

The master thesis deals with designing and implementing a configurable web scraper for extracting data from news portals using RSS channels and user-set extraction rules. Control of the scraper will be possible through a web application. The first part of my master's thesis deals with analyzing news portals and their variants of publishing data. Simultaneously, it deals with the general approach to web scraping. The second part of the work deals with the analysis of the existing solutions, which offer web scraping as a SaaS service. At the same time also analyzes the programming languages and their expansions, which are used for web scraping. The third part of the work deals with the creation of functional and non-functional requirements from the result of the analysis, simultaneously designing of user interface. The fourth part of the master thesis deals with the implementation of functional and non-functional requirements and the following testing of the web application. The web application is implemented in Node.js, the framework React and database MongoDB.