Big Data architektura pro sběr streamovaných dat
Big Data architecture for stream data collection
Typ dokumentu
bakalářská prácebachelor thesis
Autor
Martin Bendík
Vedoucí práce
Červenková Barbora
Oponent práce
Kuchař Jaroslav
Studijní obor
Znalostní inženýrstvíStudijní program
InformatikaInstituce přidělující hodnost
katedra aplikované matematikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
S rastúcim počtom užívateľov a služieb, ktoré využívajú online, rastie aj množstvo dát zaznamenávajúcich ich aktivitu. Tieto dáta sú často neštruktúrované, majú veľký objem a pribúdajú veľmi rýchlo. Typickým príkladom týchto dát sú logy. Záznamy z produkčných logov slúžia na analýzu premávky, správania užívateľov a ich záujmov s cieľom priniesť im čo najrelevantnejší obsah. Táto práca sa zaoberá problematikou zberu a transportu veľkého množstva prúdových dát z produkčných serverov. Predstavuje a popisuje súčasné technológie veľkých dát, dávkové spracovanie a spracovanie v reálnom čase a porovnáva používané architektúry v tejto oblasti. Súčasťou práce je tiež návrh architektúry určenej na zber a transport logov z produkčnýh serverov do systému na zasielanie správ Apache Kafka a do distribuovaného súborového systému Apache HDFS a implementácia prototypu systému založeného na tejto architektúre. As the number of users and services they use online grows, so does the amount of data that tracks their activity. These data are often unstructured, large in volume and growing very fast. Logs are a typical example of these data. Records from production logs are used to analyze traffic, user behavior and interests in order to bring them the most relevant content. This work deals with the collection and transport of large amounts of stream data from production servers. It presents and describes current Big Data technologies, batch processing and real-time processing and compares the architectures used in this area. The work also includes the design of an architecture intended to collect and transport logs from production servers to the Apache Kafka messaging system and the distributed file system Apache HDFS, and the implementation of a prototype system based on this architecture.
Kolekce
- Bakalářské práce - 18105 [244]
Související záznamy
Zobrazují se záznamy příbuzné na základě názvu, autora a předmětu.
-
Analýza trendů ve vyhledávání v reálném čase
Autor: Samuel Butta; Vedoucí práce: Červenková Barbora; Oponent práce: Špaček Petr
(České vysoké učení technické v Praze. Vypočetní a informační centrum.Czech Technical University in Prague. Computing and Information Centre., 2019-06-06)Zpracování velkého množství dat je v posledních letech velmi populární a rozvíjející se oblast informatiky. Kromě zpracování velkého množství spíše historických dat, je velmi žádoucí zpracovávat velká data v reálném čase. ... -
Systém pro podporu správy chytrých fotovoltaických elektráren
Autor: Matěj Jehlička; Vedoucí práce: Rolník Marian-Daniel; Oponent práce: Šimeček Ivan
(České vysoké učení technické v Praze. Vypočetní a informační centrum.Czech Technical University in Prague. Computing and Information Centre., 2024-02-09)Práce se zabývá doménou chytrých fotovoltaických elektráren v kontextu sdílení elektrické energie. Popisuje základní komponenty a procesy provozu takových elektráren. Dále se zaměřuje na aktuální a nově vznikající legislativu ... -
Léková encyklopedie 2
Autor: Růžička Jiří; Vedoucí práce: Klímek Jakub; Oponent práce: Špaček Petr
(České vysoké učení technické v Praze. Vypočetní a informační centrum.Czech Technical University in Prague. Computing and Information Centre., 2019-02-09)Tato bakalářská práce se zabývá vývojem druhé verze webové aplikace Léková encyklopedie, která zobrazuje informace o léčivých přípravcích, účinných látkách a jejich vlastnostech. Práce se věnuje celému procesu vývoje ...