Automatizovaná dynamická cenotvorba pro e-shop na základě dat

Abstract

V této práci navrhujeme nový přístup k dynamické cenotvorbě v prostředí e-commerce, konkrétně internetového obchodu s módou. Poprvé se pokusíme využít metod offline zpětnovazebního učení a napodobovacího učení v oblasti dynamické cenotvorby. Používáme dva algoritmy, a to konzervativní Q-učení a klonování chování. Formalizujeme problém cenotvorby jako Markovův rozhodovací proces, pak aplikujeme navrhované algoritmy na skutečnou datovou sadu z malého internetového obchodu. Výsledky ukazují, že naše metody jsou schopné dosáhnout dobrých výsledků srovnatelných s lidskými odborníky. Provádíme dvě samostatné evaluace. V první z nich lidský expert hodnotí cenové doporučení nejlepší metody s průměrnou známkou 1,31 z 5 (1 je nejlepší možné skóre). Druhá evaluace ukazuje, že všechny naše navrhované metody překonávají základní statickou metodu minimálně o 27%. Tuto simulovanou evaluaci provádíme pomocí vlastního simulátoru implementovaného ve frameworku OpenAI Gym. Pro exeprtní evaluaci vytváříme vlastní metodiku založenou na webovém rozhraní.

In this thesis, we propose a novel approach to dynamic pricing in the setting of e-commerce, specifically fashion retail. For the first time, we attempt to use the methods of Offline Reinforcement Learning and Imitation Learning in the domain of dynamic pricing. We use two algorithms, namely, the Conservative Q-learning and Behavioral Cloning. We formalize the pricing problem as a Markov Decision Process, then we apply the proposed algorithms to a real-world dataset from a small e-commerce business. The results show that our methods are able to achieve good results on par with human experts. We carry out two separate evaluations. In the first one, a human expert grades the pricing recommendations of the best method with an average grade 1.31 out of 5 (1 being the best possible score). The second evaluation shows that all our proposed methods outperform the static baseline method by a minimum margin of 27%. We perform this simulated evaluation via a custom simulator implemented in OpenAI's Gym. For the expert evaluation, we develop a custom methodology based on a web interface.