Analýza chování modelů strojového učení

Veselý Jan

Analysis of machine learning models behaviour

Type of document

diplomová práce
master thesis

Author

Veselý Jan

Supervisor

Černý Jan

Opponent

Kuznetsov Stanislav

Field of study

Znalostní inženýrství

Study program

Informatika

Institutions assigning rank

katedra teoretické informatiky

Rights

A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html

Metadata

Show full item record

Abstract

Předmětem této práce je návrh a implementace systému pro analýzu chování modelů strojového učení. V textu je popsána architektura systému splňující možnost škálování na neomezený počet zákazníků a napojení na libovolný model strojového učení. Další část je zaměřena na návrh a otestování metrik pro doporučovací systém. Jsou probrány základní metriky pro měření přesnosti výstupu doporučovacího modelu a pro měření změn výstupu při různých konfiguracích. Výsledky jsou ověřeny na datech reálných zákazníků.

The goal of this thesis is to design and implement a system for analyzing the behaviour of machine learning models. We present a system architecture that is scalable to an unlimited number of customers and can connect to any type of machine learning models. The system is then tested on metrics for a recommender system. We propose basic metrics for measuring precision of the recommendation model and for measuring output differences in distinct configurations. The results of the metrics are validated on real customer data.