Rozpoznání toxického obsahu v konverzačních systémech

Abstract

Systémy konverzační umělé inteligence, jako jsou chatboti, nabírají na popularitě v mnoha odvětvích průmyslu a jsou často používány pro pomoc s péčí o zákazníky, orientací uživatelů na webové stránce či pro jiné úlohy podobného charakteru. Tyto systémy mohou mít problém rozpoznat toxické uživatele, kteří se je snaží urazit, chovají se k nim nevhodně či se je snaží zmanipulovat, aby je donutili říct něco urážlivého. V této práci se na problém rozpoznání toxickémho obsahu v dialogových systémech zaměřujeme podrobně. Popisujeme aktuální state-of-the-art metody v oblasti NLP a navrhujeme postupy, které je možné použít k řešení problému. Efektivitu navhrhovaných řešení vyhodnocujeme na datasetu. Na základě výsledků popisujeme kvalitu jednotlivých navrhovaných metod, porovnáváme je se SOTA metodami a navrhujeme směr, kterým by se mohl ubírat náš budoucí výzkum v oblasti.Conversational AI systems, such as chatbots, are becoming increasingly popular in various industries and are often used to assist with customer service, help users navigate websites and perform other related tasks. However, these systems can be vulnerable to users who may try to insult, harm or be offensive to the system or deceive the system to make it say something toxic. In this project, we investigate the problem of toxic language recognition in conversational AI systems. We review the current state-of-the-art in this area and propose methods to solve the problem. We evaluate the effectiveness of proposed techniques through a series of experiments on a dataset of tweets, present the results and compare them to SOTA methods. Based on the results, we suggest potential directions for future research in the area.