Big Data architektura pro sběr streamovaných dat

Martin Bendík

Big Data architecture for stream data collection

Type of document

bakalářská práce
bachelor thesis

Author

Martin Bendík

Supervisor

Červenková Barbora

Opponent

Kuchař Jaroslav

Field of study

Znalostní inženýrství

Study program

Informatika

Institutions assigning rank

katedra aplikované matematiky

Rights

A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html

Metadata

Show full item record

Abstract

S rastúcim počtom užívateľov a služieb, ktoré využívajú online, rastie aj množstvo dát zaznamenávajúcich ich aktivitu. Tieto dáta sú často neštruktúrované, majú veľký objem a pribúdajú veľmi rýchlo. Typickým príkladom týchto dát sú logy. Záznamy z produkčných logov slúžia na analýzu premávky, správania užívateľov a ich záujmov s cieľom priniesť im čo najrelevantnejší obsah. Táto práca sa zaoberá problematikou zberu a transportu veľkého množstva prúdových dát z produkčných serverov. Predstavuje a popisuje súčasné technológie veľkých dát, dávkové spracovanie a spracovanie v reálnom čase a porovnáva používané architektúry v tejto oblasti. Súčasťou práce je tiež návrh architektúry určenej na zber a transport logov z produkčnýh serverov do systému na zasielanie správ Apache Kafka a do distribuovaného súborového systému Apache HDFS a implementácia prototypu systému založeného na tejto architektúre.

As the number of users and services they use online grows, so does the amount of data that tracks their activity. These data are often unstructured, large in volume and growing very fast. Logs are a typical example of these data. Records from production logs are used to analyze traffic, user behavior and interests in order to bring them the most relevant content. This work deals with the collection and transport of large amounts of stream data from production servers. It presents and describes current Big Data technologies, batch processing and real-time processing and compares the architectures used in this area. The work also includes the design of an architecture intended to collect and transport logs from production servers to the Apache Kafka messaging system and the distributed file system Apache HDFS, and the implementation of a prototype system based on this architecture.