Rozšíření nástroje pro správu experimentů strojového učení

Abstract

Cílem této diplomové práce a souvisejícího projektu je rozšířit stávající nástroj Sacred, který pomáhá výzkumníkům v oblasti umělé inteligence spravovat konfigurace a zachovávat výsledky experimentů. Část projektu se zabývá přidáním nových funkcí do nástroje Sacred, které uživatelům umožní zaznamenávat metriky experimentů a zjednoduší práci Sacred ve spojení s výpočetní knihovnou TensorFlow. Sebrané informace uchovávané v databázi Sacred musí být přístupné uživatelům. Práce se proto rovněž zaměřuje na vytvoření webového monitorovacího panelu Sacred: Sacredboard. Pro poznání potřeb uživatelů proběhly diskuse s hlavním vývojářem nástroje Sacred, jehož uživatelé byli následně osloveni formou dotazníku. Uvedené zdroje pomohly formalizovat požadavky pro Sacredboard i zamýšlená rozšíření pro Sacred. Zjišťeným požadavkům byla přiřazena priorita, byly rozpracovány a implementovány. Díky veřejnému umístění projektu na portálu GitHub poskytli uživatelé první připomínky již krátce po vydání první verze. V dalších kapitolách je popsána softwarová architektura, postupy a nástroje použité v průběhu vývoje. Na závěr je představen ukázkový projekt využívající nové schopnosti programu. Zatímco Sacred byl rozšířen o rozhraní pro záznam měření průběhu experimentů, Sacredboard byl vytvořen pro zjednodušení procházení záznamů z databáze Sacred a sledování průběhu experimentů. Přestože některé funkce zatím nebyly dokončeny a další by bylo vhodné v budoucnu doplnit, projekt byl již řadou uživatelů přijat. Někteří z nich začali program rozšiřovat o vlastní funkce. Vyjadřuji naději, že pomohou projekt udržet aktivní i nadále. Sacred a jeho rozšíření včetně Sacredboard byly přijaty jako příspěvek pod názvem "Sacred: How I Learned to Stop Worrying and Love the Research" na prezentaci v tématickém celku o opakovatelnosti experimentů na konferenci o vědeckém výpočetním programování s jazykem Python, SciPy 2017, která se uskuteční v Austin, Texas.

The aim of this thesis and the accompanying project is to extend Sacred, an existing software tool that helps machine learning researchers with managing configuration and maintaining results of their experiments. A part of the project deals with adding new functionality to Sacred to provide its users with a standardized way of tracking experiment metrics and to simplify working with Sacred and the TensorFlow library. Collected information kept in the Sacred database must become accessible to the users. Thus, the thesis also focuses on creating a web dashboard for Sacred: the Sacredboard. To learn about needs of researchers, discussion with the main developer of Sacred took place and a questionnaire was distributed among users of the existing tool. These sources of information helped to formalize requirements both for Sacredboard and the Sacred extension. The elicited requirements were prioritized, elaborated and the development began. Being publicly available on GitHub, users provided their feedback soon after the initial release. In the next chapters the software architecture, techniques and tools used to support the development process are described. At the end, a sample project that uses the new features is presented. To conclude, while Sacred has been extended with an interface to log measurements taken during experiments, Sacredboard has been created to simplify browsing the Sacred database and observing running experiments. Although some features have not been finished yet and others are desirable to add in the future, the project has been already adopted by a number of users. Some of them have started with development of their own features. Hopefully, they will contribute to keeping the project active. An abstract called "Sacred: How I Learned to Stop Worrying and Love the Research" has been accepted for presentation as a talk in the Reproducibility track of the SciPy 2017 Scientific Computing with Python conference in Austin, Texas.