Vliv architektury klasifikačního modelu na detekci anomálií v textu

Abstract

Konverzační agenti pracují v různých prostředích. V open world prostředí hraje důležitou roli jak rozpoznávání předdefinovaných in-domain intentů, tak detekce neznámých out-of-domain anomálií. V této práci zkoumáme různé metody určené pro detekci anomálií a představujeme novou metodu, která je nezávislá na out-of-domain datech. Metody jsou následně porovnány s ohledem na in-domain přesnost, out-of-domain recall, false rejection rate a časové a paměťové požadavky. Ohodnocení metod na několika datasetech ukazuje, že námi představená metoda výrazně překonává již zavedené metody.

Conversational agents operate in various environments. In the open world environment, both recognition of predefined in-domain intents and detection of unknown out-of-domain anomalies play a crucial role. In this thesis, we review several methods for anomaly detection and propose a novel method that is independent of out-of-domain data. The methods are then compared in respect to in-domain accuracy, out-of-domain recall, false rejection rate and time and memory requirements. Evaluations on a variety of datasets show that Our Proposed Method significantly outperforms the current state-of-the-art.