Architektúra prostredia pre streamové spracovanie veľkých dát

Abstract

Spracovanie veľkých dát prežíva v súčastnosti veľký rozmach vďaka internetovým službám a sociálnym médiám. Snaha urýchľovať analýzu a mať k dispozícií výsledky v čo najkratšom možnom čase prináša so sebou nové výzvy a problémy oproti dávkovému prístupu spracovania. Práca prezentuje tieto problémy a naznačuje riešenia, ktoré využívajú moderné open-source technológie pre účel spracovania dát v reálnom čase. Na základe predstavených technológií stavia návrh prostredia, ktoré umožňuje beh analytických programov. Je dôležité, aby fungovanie celého systému bolo spoľahlivé, jednoducho škálovateľné a aby poskytovalo presné výsledky. V tomto prostredí je možné použitie rôznych frameworkov určených pre implementáciu analytických aplikácií, práca sa zaoberá ich porovnaním, meraním a výberom. Na základe návrhu je v práci vytvorený prototyp, ktorý umožňuje spustenie tohto prostredia na osobnom počítači a testovanie funkcionality.

In the last decade, data collection and processing is on the rise, thanks to expanding internet services and social media. In effort to speed up this process and obtain results in the shortest time possible, we meet with new challenges and problems compared to traditional batch approach. The thesis presents these issues and indicates solutions, that are used in modern open-source technologies used for data processing in real time. Based on presented technologies, a design of the environment, that allows execution of analytical applications is built. It is important that the whole system is reliable, scalable and can deliver precise results. This environment allows use of multiple frameworks that are compatible, used for implementation of analytic applications. Selected ones are compared from the standpoint of functionality and performance. Based on the design, a prototype is created, that allows running this environment on personal computer for testing purposes.