Analýza chování modelů strojového učení

Abstract

Předmětem této práce je návrh a implementace systému pro analýzu chování modelů strojového učení. V textu je popsána architektura systému splňující možnost škálování na neomezený počet zákazníků a napojení na libovolný model strojového učení. Další část je zaměřena na návrh a otestování metrik pro doporučovací systém. Jsou probrány základní metriky pro měření přesnosti výstupu doporučovacího modelu a pro měření změn výstupu při různých konfiguracích. Výsledky jsou ověřeny na datech reálných zákazníků.

The goal of this thesis is to design and implement a system for analyzing the behaviour of machine learning models. We present a system architecture that is scalable to an unlimited number of customers and can connect to any type of machine learning models. The system is then tested on metrics for a recommender system. We propose basic metrics for measuring precision of the recommendation model and for measuring output differences in distinct configurations. The results of the metrics are validated on real customer data.