Srovnání přístupů nasazení modelů strojového učení

Abstract

Machine learning operations (provoz strojového učení) je začínající obor softwarového inženýrství. Má za cíl zefektivnit proces vývoje strojového učení od konceptu modelu po jeho nasazení. V této diplomové práci se zaměříme na architektury nasazování modelů strojového učení pro online klasifikaci. Nejprve je čtenáři krátce představen obor machine learning operations a vymezíme zaměření této práce. Poté navrhneme a vysvětlíme čtyři kritéria, která jsou později použitá k popisu a vyhodnocení jednotlivých přístupů nasazování modelů. Dále popíšeme pět různých schémat pro nasazování modelů strojového učení a u každého rozebereme jednotlivá kritéria. Každé schéma má popsanou architekturu a příklad situace, kde by se dalo použít, včetně ukázkové implementace. Dále navrhneme framework pro výběr schématu, které nejlépe vyhovuje situaci pro nasazování modelů. Nakonec poskytneme dvě detailní studie z průmyslu popisující architekturu, implementaci a argumentaci za rozhodnutími, které k danému výsledku vedly.

Machine learning operations is an emerging field in software engineering. It aims to streamline the machine learning development process from the model's concept to its application. In this thesis, we focus on machine learning model serving approaches for online inference use cases. First, we provide a brief background for machine learning operations and delineate the situations we consider in this thesis. Then, we propose four criteria used to describe and evaluate the deployment approaches. Next, we identify five different schemes to deploy machine learning models and assess them with regard to the defined criteria. We provide the architectures of the solutions and the use case where they fit along with example implementations. Further, we propose a framework to guide selecting the approach that best fits the use case. Lastly, we provide two industry case studies describing the architecture, implementation, and reasoning behind those decisions.