Vizuální evaluace doporučovacích systémů

Abstract

Cílem práce je prozkoumat nové způsoby evaluace doporučovacích systémů, především za pomoci vizualizačních nástrojů. V současném výzkumu je při vyhodnocování úspěšnosti modelu kladen důraz především na přesnost doporučení, méně už však na další důležité metriky, jako je rozmanitost doporučovaných věcí, rozsah pokrytí katalogu nebo možnost objevování nových věcí na úkor bestsellerů. Výsledky evaluací jsou navíc typicky prezentovány pouze ve formě agregovaných hodnot a není dále zkoumána jejich distribuce přes validační množinu uživatelů, což je důležité pro odhalení neférovosti modelu a chyb různého druhu. Práce proto nabízí sadu nových přístupů, které kombinují techniky vizualizace se stávajícími metodami offline evaluace, a které jsou implementovány jako součást frameworku zpřístupněného pod open-source licencí dalším výzkumníkům.

The thesis aims to explore new ways of evaluating recommender systems, mainly with the help of visualization tools. In the current research, when evaluating the success of a model, the emphasis is mainly on the accuracy of recommendations but less on other important metrics, such as the diversity of recommended items, the extent of catalog coverage, or the opportunity of discovering novel items at the expense of bestsellers. Moreover, evaluation results are typically presented only in the form of aggregated values, and their distribution through the validation set of users is not further investigated, which is essential for revealing the unfairness of the model and discovering various biases. Therefore, the thesis offers a set of new approaches that combine visualization techniques with existing offline evaluation methods and are implemented as part of a framework made available under an open-source license to other researchers.