Systém pro zpracování datových toků v reálném čase
Real-time Data Stream Processing System
Typ dokumentu
diplomová prácemaster thesis
Autor
Vitalij Kozlov
Vedoucí práce
Valenta Michal
Oponent práce
Vondra Tomáš
Studijní obor
Webové a softwarové inženýrstvíStudijní program
InformatikaInstituce přidělující hodnost
katedra softwarového inženýrstvíPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Zpracování velkých dat se v posledních několika letech stalo velmi žádaným oborem, navzdory tomu, že přináší celou řadu výzev. Je při něm třeba shromažďovat, ukládat a zpracovávat data v různých objemech a formátech. Aby bylo možné řešit povahu velkých dat, musí být datové systémy navrženy spolehlivě, škálovatelně a zároveň tak, aby se daly snadno udržovat. V posledních několika letech se požadavky staly ještě náročnějšími, protože data je třeba zpracovávat nejen ve velkém objemu, ale také v reálném čase. Cílem této práce je navržení systému, který pracuje s velkými daty a který se zaměřuje na vysokou dostupnost, nízkou latenci a horizontální škálovatelnost. Tato práce zkoumá hlavní teorie a pro praktickou část se inspiruje osvědčenou Lambda architekturou, do které promítá vybrané technologické trendy - jmenovitě model veřejného cloud computingu a technologii kontejnerů. Práce dále popisuje implementaci prototypu cloudového systému, který byl vytvořen jako součást projektu, a diskutuje jeho výsledky. Big data processing has been in high demand in recent years despite its many challenges. Data in different volumes and formats needs to be collected, stored and processed. To address the nature of big data, data systems must be designed in a reliable, scalable and maintainable manner. Over the last few years, the requirements have become even more demanding, as the data needs to be processed not only on a large scale, but also in real time. This thesis proposes a system design focused on high availability, low latency and horizontal scalability. It is inspired by well-established Lambda architecture but also reflects certain technological trends, such as public cloud computing and container technology. This thesis also describes the implementation of a cloud-based system prototype that was created as part of the project and discusses its results
Kolekce
- Diplomové práce - 18102 [942]