Hledání častých podmnožin a multi-label klasifikace uživatelských odpovědí na téma wellbeingu

Abstract

Tato práce se zabývá automatickou tvorbou vhledů do spokojenosti zaměstnanců s jejich pracovním prostředí a wellbeingem na základě textových odpovědí z dotazníků. Pro zpracování velkého korpusu dat byl vyvinut postup, který zpracoval a seskupil texty z různých zdrojů. Dále byl natrénován klasikátor, který zpracováním přirozeného jazyka odhaluje témata v uživatelských odpovědích a bylo ověřeno, že funguje dostatečně dobře pro naše zadání. Na souborech nalezených témat byly nalezeny časté podmnožiny, tyto výsledky byly podrobeny chí-kvadrát testu pro zjištění (ne)závislosti jednotlivých témat. Z praktické stránky, tato metoda má open-source licence a je HR oddělením k dispozici pro podporu jejich rozhodnutí na základě dat ze zpětné vazby. Metoda byla otestována na reálných datech různých společností se sídlem v ČR a bylo ukázáno, že je pomocí ní možné najít (statisticky významné) časté podmnožiny a navrhnout postup k interpretaci dat a jejich zpětnému vysledování ke skutečným problémům.

In the thesis, we developed a method to automatically generate insights into employees’ satisfaction with their workplace and perception of their wellbeing based on textual answers to questionnaires. To be able to process a large body of data, we developed a pipeline to preprocess and aggregate textual data from a number of different sources. Further, we trained an NLP classifier (RandomForest) to detect labels in the user responses and verified the classifier performs sufficiently for the task. On these sets of detected labels, we run frequent itemset analysis and subject the results to significant support and (in)dependence tests. On the practical side, the method is open-sourced and available to support decisions at Human Resources (HR) departments based on data-driven feedback. We evaluated the method on real-world data from various companies located in the Czech Republic and showed that we are able to find significant frequent itemsets, and design a workflow to interpret the results and trace them back to actual problems.