Systém pro zpracování datových toků v reálném čase

Abstract

Zpracování velkých dat se v posledních několika letech stalo velmi žádaným oborem, navzdory tomu, že přináší celou řadu výzev. Je při něm třeba shromažďovat, ukládat a zpracovávat data v různých objemech a formátech. Aby bylo možné řešit povahu velkých dat, musí být datové systémy navrženy spolehlivě, škálovatelně a zároveň tak, aby se daly snadno udržovat. V posledních několika letech se požadavky staly ještě náročnějšími, protože data je třeba zpracovávat nejen ve velkém objemu, ale také v reálném čase. Cílem této práce je navržení systému, který pracuje s velkými daty a který se zaměřuje na vysokou dostupnost, nízkou latenci a horizontální škálovatelnost. Tato práce zkoumá hlavní teorie a pro praktickou část se inspiruje osvědčenou Lambda architekturou, do které promítá vybrané technologické trendy - jmenovitě model veřejného cloud computingu a technologii kontejnerů. Práce dále popisuje implementaci prototypu cloudového systému, který byl vytvořen jako součást projektu, a diskutuje jeho výsledky.Big data processing has been in high demand in recent years despite its many challenges. Data in different volumes and formats needs to be collected, stored and processed. To address the nature of big data, data systems must be designed in a reliable, scalable and maintainable manner. Over the last few years, the requirements have become even more demanding, as the data needs to be processed not only on a large scale, but also in real time. This thesis proposes a system design focused on high availability, low latency and horizontal scalability. It is inspired by well-established Lambda architecture but also reflects certain technological trends, such as public cloud computing and container technology. This thesis also describes the implementation of a cloud-based system prototype that was created as part of the project and discusses its results