Nástroj pro analýzu článků z českých zpravodajských serverů

Abstract

V dnešní době, kdy množství informací na internetu stále narůstá, se automatické zpracování a třídění dat stalo velmi oblíbeným oborem iformačních technologií. Jednou z oblastí, kde se nachází množství různých, ale i podobných informací, je internetové zpravodajství. Cílem této práce bylo vytvořit nástroj pro analýzu článků z českých zpravodajských serverů, který by zjednodušil orientaci v obsahu, jenž je těmito servery každý den generován. Pro splnění tohoto cíle bylo vytvořeno několik Node.js modulů, kde se každý z nich zabývá určitou částí v procesu získání zajímavých dat. První z nich je crawler, díky kterému je možné stáhnout články k analýze ze zpravodajských webů. V druhé části je ze stažených HTML stránek extrahován relevantní obsah článků a jejich další atributy. Třetí částí je pak textová analýza, kde byly vytvořeny moduly pro extrakci pojmenovaných entit a pro analýzu sentimentu českého textu. V závěru práce pak byly vytvořeny dva CLI programy, kterými je možné pohodlně stáhnout a analyzovat články, jejichž výstupem jsou atributy článku, jeho obsah, sentiment a seznam entit a jejich výskytů v textu. Tyto články pak byly nahrány do databáze Apache Solr, pro kterou bylo vytvořeno několik dotazů a provedeny experimenty.

Nowadays, when the amount of information on the internet continues to grow, automatic processing and analysis of data has become a very popular specialisation in the field of the information technologies. Online news service is one of the domains in which a significant amount of diverse as well as similar information exists. The goal of this thesis was to create a tool for analysis of Czech news articles which would simplify orientation in the data that is generated by these servers every day. To accomplish this goal a several Node.js modules have been created, each of which deals with a specific part of the process of obtaining interesting data. The first one is a crawler which allows downloading articles for analysis from news servers. In the second part, relevant content of articles and their other attributes are extracted from downloaded HTML pages. The third part is a text analysis for which modules for extraction of named entities and for sentiment analysis of Czech texts have been created. Finally, two CLI programs have been created, which allow easy download and analysis of articles, and the output of which are attributes of the article, its content, sentiment and a list of entities and its occurrences in the text. These articles have then been imported to the database Apache Solr for which several queries have been created and a number of experiments have been performed.