Optimalizace síťové architektury pro Hadoop Mapreduce

Abstract

Tato diplomová práce studuje vliv síťové topologie datacentra na dobu trvání distribuovaných výpočtů typu MapReduce. Úvodní část této práce poskytuje obecný přehled technologie MapReduce včetně jednoduchého příkladu jejího využití a zabývá se také nejnovějšími technologiemi a publikacemi v této oblasti. Vliv topologie datacentra na výkonnost MapReduce je studován pomocí simulací. Návrh simulačních scénářů, volba simulátoru i rozšíření zvoleného simulátoru o modul pro simulaci síťové topologie a úprava stávajícího algoritmu plánovače úloh implementovaného ve zvoleném simulátoru jsou přemětem následující části této diplomové práce. V závěru jsou prezentovány a vyhodnoceny výsledky simulací.

This thesis studies the influence of datacenter network topology on performance of distributed computing tasks following the MapReduce model. The first part of this thesis gives an overview of MapReduce in general, including an example usecase, and state of the art technologies and publications in this field. The influence of datacenter topology on MapReduce performance is evaluated through a series of simulations. Design of those simulation scenarios as well as choice of simulator and implementation of a network topology simulation module extending that simulator and improvement of this simulator's scheduling algorithm are also described in this thesis. The final part of this thesis presents results of the conducted simulations and conclusion of this work.