Zpracování dialogových dat z oblasti poradenské praxe pro závislé

Abstract

Tato práce je součástí probíhajícího vývoje platformy, která byla původně určena pro národní linku pro odvykání, ale nyní byla rozšířena pro obecné poradenství. Hlavní zaměření je na nalezení řešení pro automatizaci libovolné extrakce dat z dialogů shromážděných platformou. Protože tento úkol spadá do mnoha problémů zpracování přirozeného jazyka, nejprve poskytuji obecný přehled metod NLP a zdůrazňuji důležitost neuronových sítí. Následně představím klíčové architektury neuronových sítí, které byly průkopníky v NLP. Poté prezentuji souhrn LLM a vybírám šest z těchto modelů, které budou testovány v rámci datového prostředí NQL. Z dat NQL je manuálně vybráno 40 dialogů, tyto vzorky jsou vybrány na základě potenciálních informačních polí, která obsahují, a na základě kvality diarizace a transkripce; základní chyby jsou ručně opraveny. Vzhledem k nelabelované povaze dat je navržen a použit nesupervidovaný hodnotící proces založený na podobnosti slov. Na základě tohoto hodnocení je argumentováno, že model Llama3-70B je nejlépe fungující. S ohledem na výpočetní efektivitu je Gemma-7B nejlepším modelem.This work is a part of an ongoing platform development originally for national quitting line but now extended for general counseling. The main focus is on finding solution for automatization of arbitrary data extraction from within The dialogoues collected by The platform. Since this task falls within The many problems of natural language processing I first provide a general overview of NLP methods arguing The importance of neural nets. Subsequently I introduce key NN architectures which pioneered NLP. Following I present a summary of LLMs and choose six of these models to be tested within The NQL data framework. A manual selection of 40 dialogues is made from the NQL data, these samples are chosen based on the potential field information they contain and on their diarization and transcription quality, basic errors are manually corrected. Given The unlabelled nature of The data an unsupervised evaluation pipeline based on word similarity is proposed and used. Based on this evaluation Llama3-70B is argument to be The best performing model. With respect to computational efficency Gemma-7B is The best performer.