Architektúra prostredia pre streamové spracovanie veľkých dát
Architecture for big data stream processing
Typ dokumentu
bakalářská prácebachelor thesis
Autor
Maroš Kramár
Vedoucí práce
Kuchař Jaroslav
Oponent práce
Petr Ivo
Studijní obor
Znalostní inženýrstvíStudijní program
Informatika 2009Instituce přidělující hodnost
katedra aplikované matematikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Spracovanie veľkých dát prežíva v súčastnosti veľký rozmach vďaka internetovým službám a sociálnym médiám. Snaha urýchľovať analýzu a mať k dispozícií výsledky v čo najkratšom možnom čase prináša so sebou nové výzvy a problémy oproti dávkovému prístupu spracovania. Práca prezentuje tieto problémy a naznačuje riešenia, ktoré využívajú moderné open-source technológie pre účel spracovania dát v reálnom čase. Na základe predstavených technológií stavia návrh prostredia, ktoré umožňuje beh analytických programov. Je dôležité, aby fungovanie celého systému bolo spoľahlivé, jednoducho škálovateľné a aby poskytovalo presné výsledky. V tomto prostredí je možné použitie rôznych frameworkov určených pre implementáciu analytických aplikácií, práca sa zaoberá ich porovnaním, meraním a výberom. Na základe návrhu je v práci vytvorený prototyp, ktorý umožňuje spustenie tohto prostredia na osobnom počítači a testovanie funkcionality. In the last decade, data collection and processing is on the rise, thanks to expanding internet services and social media. In effort to speed up this process and obtain results in the shortest time possible, we meet with new challenges and problems compared to traditional batch approach. The thesis presents these issues and indicates solutions, that are used in modern open-source technologies used for data processing in real time. Based on presented technologies, a design of the environment, that allows execution of analytical applications is built. It is important that the whole system is reliable, scalable and can deliver precise results. This environment allows use of multiple frameworks that are compatible, used for implementation of analytic applications. Selected ones are compared from the standpoint of functionality and performance. Based on the design, a prototype is created, that allows running this environment on personal computer for testing purposes.
Kolekce
- Bakalářské práce - 18105 [295]