Optimalizace síťové architektury pro Hadoop Mapreduce
Optimization of Network Architecture for Hadoop Mapreduce
Type of document
diplomová prácemaster thesis
Author
Kouba Zdeněk
Supervisor
Kencl Lukáš
Opponent
Vondra Tomáš
Field of study
Sítě elektronických komunikacíStudy program
Komunikace, multimédia a elektronikaInstitutions assigning rank
katedra telekomunikační technikyRights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://www.cvut.cz/sites/default/files/content/d1dc93cd-5894-4521-b799-c7e715d3c59e/cs/20160901-metodicky-pokyn-c-12009-o-dodrzovani-etickych-principu-pri-priprave-vysokoskolskych.pdfVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://www.cvut.cz/sites/default/files/content/d1dc93cd-5894-4521-b799-c7e715d3c59e/cs/20160901-metodicky-pokyn-c-12009-o-dodrzovani-etickych-principu-pri-priprave-vysokoskolskych.pdf
Metadata
Show full item recordAbstract
Tato diplomová práce studuje vliv síťové topologie datacentra na dobu trvání distribuovaných výpočtů typu MapReduce. Úvodní část této práce poskytuje obecný přehled technologie MapReduce včetně jednoduchého příkladu jejího využití a zabývá se také nejnovějšími technologiemi a publikacemi v této oblasti. Vliv topologie datacentra na výkonnost MapReduce je studován pomocí simulací. Návrh simulačních scénářů, volba simulátoru i rozšíření zvoleného simulátoru o modul pro simulaci síťové topologie a úprava stávajícího algoritmu plánovače úloh implementovaného ve zvoleném simulátoru jsou přemětem následující části této diplomové práce. V závěru jsou prezentovány a vyhodnoceny výsledky simulací. This thesis studies the influence of datacenter network topology on performance of distributed computing tasks following the MapReduce model. The first part of this thesis gives an overview of MapReduce in general, including an example usecase, and state of the art technologies and publications in this field. The influence of datacenter topology on MapReduce performance is evaluated through a series of simulations. Design of those simulation scenarios as well as choice of simulator and implementation of a network topology simulation module extending that simulator and improvement of this simulator's scheduling algorithm are also described in this thesis. The final part of this thesis presents results of the conducted simulations and conclusion of this work.
Collections
- Diplomové práce - 13132 [275]