Enterprise řešení pro nasazení a správu H2O clusterů na Hadoop
Enterprise Solution for Deploying and Managing H2O Clusters on Hadoop
Typ dokumentu
diplomová prácemaster thesis
Autor
Ondřej Bílek
Vedoucí práce
Háva Jakub
Oponent práce
Nováček Tomáš
Studijní obor
Systémové programováníStudijní program
InformatikaInstituce přidělující hodnost
katedra teoretické informatikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Velké organizace čelí problémům s integrací H2O softwaru pro big-data strojové učení v prostředí Hadoopu. Hlavní kritika zmiňuje chybějící integraci s podnikovým zabezpečením, chybějící kontrolu nad zdroji (CPU, paměť) a chybějící monitoring. Analýza nasazení H2O na Hadoopu a podnikových požadavků vytvořila podklad pro hledané řešení. Na základě výzkumu existujících nástrojů bylo rozhodnuto implementovat aplikaci, která umožňuje Hadoop administrátorům nastavit bezpečnou H2O platformu pro datové analytiky, kteří zde mohou vytvářet a používat H2O clustery. Rámec projektu se následně rozšířil o integraci projektu Sparkling Water, který spojuje H2O a Spark. Tato práce popisuje implementaci takové aplikace a zaměřuje se na detaily nasazení. Výsledný program, který se jmenuje Enterprise Steam, je nyní v produkčním prostředí několika vysoce postavených amerických firem přes více než rok a dále rozšiřuje svoji funkčnost na základě zpětné vazby a dodatečných požadavků. Large organizations face problems when integrating H2O software for big-data machine learning in a Hadoop environment. The main criticism mentions the lack of integration with enterprise security, lack of resource control (CPU, memory) and lack of monitoring. Analysis of H2O deployment on Hadoop along with enterprise specifications formed the basis for a potential solution. Based on the research of existing tools the conclusion was to implement an application that enables Hadoop administrators to set up a secure H2O platform for data analysts to start and access H2O clusters. The scope of the project subsequently expanded to integrate Sparkling Water project that connects H2O with Spark. The thesis describes the implementation of the application and focuses on deployment details. The resulting application called Enterprise Steam is now in a production environment of several high-profile American companies for over a year and keeps expanding based on feedback and feature requests.
Kolekce
- Diplomové práce - 18101 [216]