Dialogový Management pro Konverzační Umělou Inteligenci

Abstract

Konverzační umělá inteligence je počítačový program, který umožňuje komunikovat s počítači pomocí přirozeného jazyka. Ústřední složkou konverzační umělé inteligence je dialogový manažer, kterého si můžeme představit jako její mozek. Tradiční přístupy ke konverzační umělé inteligenci a dialogovému managementu byly převáženě založeny na pravidlových systémech. Hlavní výhodou pravidlových systémů je jejich předvídatelnost a kontrolovatelnost. Jejich omezujícím faktorem je nutná participace doménových expertů na návrhu pravidel a omezená flexibilita vůči neočekávaným konverzačním situacím.V posledních letech došlo k významnému pokroku v oblasti jazykových modelů. Jazykové modely odhadují pravděpodobnosti sekvencí slov na základě tréninkových korpusů a mohou být použity ke generování textu. Tato schopnost nám umožňuje využívat jazykové modely v konverzační umělé inteligenci. Jazykové modely se v aplikacích konverzační umělé inteligence také označují jako neuronové generátory odpovědí. Výhodou neuronových generátorů odpovědí je jejich schopnost učit se konverzovat na základě dat, díky čemuž vynikají flexibilitou a adaptací na neočekávané situace v konverzaci. Omezujícím faktorem neuronových generátorů odpovědí je však jejich nepředvídatelnost a nekontrolovatelnost.Tato práce si klade za cíl propojit přístupy konverzační umělé inteligence založené na pravidlových systémech a jazykových modelech. Hlavním přínosem práce je Hybridní dialogový management. Hybridní dialogový management kombinuje ovladatelnost pravidlových systémů s flexibilitou neuronových generátorů odpovědí. Základním principem Hybridního dialogového managementu je Pragmatická úroveň řízení. Pragmatická úroveň řízení umožňuje určovat vlastnosti odpovědí generovaných jazykovým modelem tak, aby zapadaly do scénářů dialogů pravidlového systému.V práci navrhujeme jazykový model PraGPT schopný Pragmatické úrovně řízení. Model je navržený pro využití v Hybridním dialogovém managementu. Naším cílem bylo navrhnout efektivní model z pohledu počtu parametrů se srovnatelnou kvalitou na omezených doménách jako mají nejlepší jazykové modely. Model jsme vyhodnotili v reálném nasazení do mobilní aplikace založené na konverzační umělé inteligenci.Navíc navrhujeme inovace dalších součástí konverzační umělé inteligence, které jsou nezbytné pro praktické použití Hybridního dialogového managementu. Navrhujeme generativní adverzariální síť pro generování mimodoménových dat. Navrhujeme metodu sumarizace založenou na hustotě entit. Představujeme také několik přístupů dialogového managementu pro sledování témat a řízení dialogů. V závěru představujeme architekturu konverzační umělé inteligence, která propojuje všechny v práci popsané technologie s cílem ukázání jejich provazby.Motivace k výzkumu metod propojující pravidlové systémy s jazykovými modely vyvstala díky socialbotu Alquist. Alquist je finalistou 1., 2. a 3. ročníku soutěže Amazon Alexa Prize Socialbot Grand Challenge a vítězem 4. ročníku soutěže. Skutečnost, že Alquist byl nasazen v reálných podmínkách velkému počtu uživatelů, vyžadovala, aby navržené řešení bylo nejen akademicky progresivní, ale i prakticky použitelné.

Conversational AI is a computer program that allows us to communicate with computersusing natural language. The central component of conversational AI is the dialogue man-ager, which we can imagine as its brain. Traditional approaches to conversational AI anddialogue management relied primarily on a rule-based systems. The main advantage ofrule-based systems is their predictability and controllability. However, the limiting factorof rule-based systems is the need for domain experts to design the rule-based system andlimited flexibility to unexpected conversational situations. Recent years brought significant advancement in language models. Language modelsapproximate robabilities of a series of words based on training text corpora and can beused to generate text. This ability allows us to utilize language models in conversationalAI. In conversational AI applications, we also call language models as neural response gen-erators. The advantage of neural response generators is their ability to learn conversationin a data-driven way, which leads to better flexibility and generalization to unexpectedconversational situations. However, the limiting factor of neural response generators istheir unpredictability and uncontrollability.This thesis aims to bridge the rule-based and language model-based approaches toconversational AI. The main contribution of the thesis is Hybrid dialogue management.Hybrid dialogue management combines rule-based systems’ controllability with the flexi-bility of neural response generators. The core principle of Hybrid dialogue management isa Pragmatic level of control. The Pragmatic level of control enables us to control the re-sponse properties of language models to follow dialogue scenarios specified by a rule-basedsystem.We propose the PraGPT language model capable of the Pragmatic level of controlintended for Hybrid dialogue management. Our aim was to propose an efficient model inthe number of parameters with comparable quality on limited domains as recent state-of-the-art language models. We evaluate the model in real world setting by unitizing mobileapplication operated by conversational AI.Moreover, we propose innovations for additional components of conversational AI nec-essary for the practical application of Hybrid dialogue management. We propose a genera-tive adversarial network for out-of-domain data generation. We propose a summarizationmethod based on Named entity density. We also introduce several approaches for topictracking and flow control dialogue management. Finally, to demonstrate that all intro-duced innovations are interconnected, we present the architecture of a conversational AIsystem that combines all the technologies we described.The motivation to study the combination of rule-based systems with language models arose thanks to the socialbot Alquist. Alquist is a finalist of Amazon Alexa Prize SocialbotGrand Challenges 1, 2 and 3 and winner of Grand Challenge 4. The fact that the Alquistwas deployed in real-world conditions and served a large number of users necessitated theproposed solution to be not only academically progressive but practically applicable aswell.