Systém pro zpracování datových toků v reálném čase
Real-time Data Stream Processing System
Type of document
diplomová prácemaster thesis
Author
Vitalij Kozlov
Supervisor
Valenta Michal
Opponent
Vondra Tomáš
Field of study
Webové a softwarové inženýrstvíStudy program
InformatikaInstitutions assigning rank
katedra softwarového inženýrstvíRights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item recordAbstract
Zpracování velkých dat se v posledních několika letech stalo velmi žádaným oborem, navzdory tomu, že přináší celou řadu výzev. Je při něm třeba shromažďovat, ukládat a zpracovávat data v různých objemech a formátech. Aby bylo možné řešit povahu velkých dat, musí být datové systémy navrženy spolehlivě, škálovatelně a zároveň tak, aby se daly snadno udržovat. V posledních několika letech se požadavky staly ještě náročnějšími, protože data je třeba zpracovávat nejen ve velkém objemu, ale také v reálném čase. Cílem této práce je navržení systému, který pracuje s velkými daty a který se zaměřuje na vysokou dostupnost, nízkou latenci a horizontální škálovatelnost. Tato práce zkoumá hlavní teorie a pro praktickou část se inspiruje osvědčenou Lambda architekturou, do které promítá vybrané technologické trendy - jmenovitě model veřejného cloud computingu a technologii kontejnerů. Práce dále popisuje implementaci prototypu cloudového systému, který byl vytvořen jako součást projektu, a diskutuje jeho výsledky. Big data processing has been in high demand in recent years despite its many challenges. Data in different volumes and formats needs to be collected, stored and processed. To address the nature of big data, data systems must be designed in a reliable, scalable and maintainable manner. Over the last few years, the requirements have become even more demanding, as the data needs to be processed not only on a large scale, but also in real time. This thesis proposes a system design focused on high availability, low latency and horizontal scalability. It is inspired by well-established Lambda architecture but also reflects certain technological trends, such as public cloud computing and container technology. This thesis also describes the implementation of a cloud-based system prototype that was created as part of the project and discusses its results
Collections
- Diplomové práce - 18102 [1005]