Detekce úmyslu pro konverzačního asistenta

Abstract

Konverzační asistenti a chatboti se stali oblíbenými nástroji, které rychle a snadno odpovídají na dotazy uživatelů a pomáhají jim řešit jednoduché úkoly. Jedním z nejdůležitějších úkolů konverzačního asistenta je porozumění záměru uživatele. Nedávné pokroky ve zpracování přirozeného jazyka zaznamenaly výrazného zlepšení přesnosti rozpoznávání úmyslů. Tato práce si klade za cíl navrhnout a implementovat systém rozpoznávání úmyslu, ke kterému lze přistupovat prostřednictvím aplikačního programovacího rozhraní. Výsledkem práce je modul pro detekci záměrů, který je schopen klasifikovat zprávy od uživatele z předem definované množiny záměrů. Využívá nejmodernější modely založené na transformerech MiniLM a Robustly Optimized BERT Pretraining Approach (ROBERTA) v kombinaci s neuronovou sítí. Tento přístup dosahuje velmi dobré přesnosti na srovnávacích datasetech (96% na SNIPS a 96% na CLINC150 in-scope). Na menším, interním datasetu, je výsledná přesnost 88%. Nejlepší model dosahuje přibližně o 10-15% lepší přesnosti než řešení, které se v současné době používá ve firmě zadávající práci.

Conversational assistants and chatbots have become popular tools that can quickly and easily answer users' questions and help them solve simple tasks. One of the most important goals of a conversational assistant is to understand a user's intent. Recent advances in natural language processing made significant progress in the accuracy of intent recognition. This thesis aims to design and implement an intent recognition system that can be accessed via an application programming interface. The resulting module can classify user utterances using labels from a predefined set of intents. It uses state-of-the-art transformer-based models MiniLM and a Robustly Optimized BERT Pretraining Approach (ROBERTA) combined with a neural network-based classifier. The approach achieves good accuracy on benchmark datasets (96% on SNIPS and 96% on the CLINC150 in-scope dataset). On the smaller, internal dataset, the resulting accuracy is 88%. The best model achieves approximately 10-15% better accuracy than the solution currently used by the company which supervised the thesis.