Enterprise řešení pro nasazení a správu H2O clusterů na Hadoop

Abstract

Velké organizace čelí problémům s integrací H2O softwaru pro big-data strojové učení v prostředí Hadoopu. Hlavní kritika zmiňuje chybějící integraci s podnikovým zabezpečením, chybějící kontrolu nad zdroji (CPU, paměť) a chybějící monitoring. Analýza nasazení H2O na Hadoopu a podnikových požadavků vytvořila podklad pro hledané řešení. Na základě výzkumu existujících nástrojů bylo rozhodnuto implementovat aplikaci, která umožňuje Hadoop administrátorům nastavit bezpečnou H2O platformu pro datové analytiky, kteří zde mohou vytvářet a používat H2O clustery. Rámec projektu se následně rozšířil o integraci projektu Sparkling Water, který spojuje H2O a Spark. Tato práce popisuje implementaci takové aplikace a zaměřuje se na detaily nasazení. Výsledný program, který se jmenuje Enterprise Steam, je nyní v produkčním prostředí několika vysoce postavených amerických firem přes více než rok a dále rozšiřuje svoji funkčnost na základě zpětné vazby a dodatečných požadavků.

Large organizations face problems when integrating H2O software for big-data machine learning in a Hadoop environment. The main criticism mentions the lack of integration with enterprise security, lack of resource control (CPU, memory) and lack of monitoring. Analysis of H2O deployment on Hadoop along with enterprise specifications formed the basis for a potential solution. Based on the research of existing tools the conclusion was to implement an application that enables Hadoop administrators to set up a secure H2O platform for data analysts to start and access H2O clusters. The scope of the project subsequently expanded to integrate Sparkling Water project that connects H2O with Spark. The thesis describes the implementation of the application and focuses on deployment details. The resulting application called Enterprise Steam is now in a production environment of several high-profile American companies for over a year and keeps expanding based on feedback and feature requests.