Doporučování na základě obrazových dat obohacených o interakční data

Abstract

Cílem této diplomové práce je popsat doporučovací systémy založené na obsahu na základě obrazových dat, nejmodernější konvoluční neuronové sítě pro extrakci příznaků z obrázků a možnosti vytváření doporučení na základě více než jednoho obrázku jedné položky, tzv. multiple instance learning. Následně jsme navrhli prototyp doporučovacího systému založeném na obsahu položek, který využívá jeden a více obrázků jedné položky a začleňuje i interakce z chování uživatelů pro zlepšení doporučení. Dále jsme implementovali a porovnali několik prototypů doporučovacích systémů založených na konvolučních neuronových sítí a jejich schopnost extrahovat příznaky, které jsou důležité pro doporučení při cold-start problému. Nejlepší modely jsme poté trénovali na uživatelských interakcích. Také jsme implementovali dva modely multiple instance learning a porovnali všechny navržené modely v offline testech. Závěrem jsme čtyři modely porovnali v online A/B testu proti sobě. Výsledky ukázaly, že začlenění uživatelských interakcí a více obrázků do doporučovacího systému zlepšilo měřenou metriku míru prokliku.This master thesis aims to survey content-based recommendation systems based on image data, state-of-the-art convolutional neural networks for feature extraction from images, and possibilities of producing recommendations based on more than one image of a single item, so-called multiple instance learning. Subsequently, new content-based recommendation methods that use one and more images of a single item and incorporate interactions from users behavior to improve the recommendations were described. Several prototypes were implemented based on the state-of-the-art convolutional neural networks, and compared in offline tests in their ability to extract important features for recommendations on cold start problem. Finally, four of the models were compared in the online A/B test against each other. The results showed that the incorporation of user interactions and more images into the recommender system improved the measured click-through rate metric.