Porovnání architektur předtrénovaných řečových modelů Wav2Vec pro klasifikaci řečových vzorců u pacientů s neurologickými onemocněními

Abstract

Diplomová práce se zaměřuje na rozpoznávání patologických projevů v řeči prostřednictvím metod strojového učení, konkrétně projevů Parkinsonovy nemoci. Práce srovnává předtrénované řečové modely Wav2Vec 1.0 a Wav2Vec 2.0, původně navržené pro úlohu automatického rozpoznávání řeči, z hlediska jejich využití pro klasifikaci normální a patologické řeči. Srovnání bylo provedeno na třech datových sadách audiozáznamů v různých jazycích a pro různé úlohy řeči čtený text, spontánní dialog, monolog a artikulace samohlásky A. Řečové reprezentace byly extrahovány z několika míst modelů Wav2Vec a bylo testováno 6 základních klasifikátorů. Obě verze Wav2Vec byly také porovnány s tradičními metodami extrakce akustických příznaků z audiozáznamů. Pro srovnání metod byla použita multikriteriální analýza TOPSIS. Práce potvrdila, že modely Wav2Vec dosahují při detekci patologií lepších výsledků než klasické metody extrakce příznaků. Zároveň se ukázalo, že novější verze modelu dosahuje vyššího výkonu. U té je však velmi důležitý správný výběr vrstvy extrakce. Pro verbální úlohy (čtený text a spontánní řeč) bylo nejlepších výsledků dosaženo při extrakci ze čtvrté transformační vrstvy. Pro analýzu samohlásek A byly nejvhodnější latentní reprezentace. Wav2Vec 1.0 však poskytuje výpočetně rychlejší alternativu s konkurenceschopným výkonem i pro španělskou řeč a mohl by tak být vhodnou alternativou pro aplikace s omezenou výpočetní kapacitou, jako je nasazení v nositelné elektronice nebo monitorování v reálném čase.

The master thesis focuses on the recognition of speech pathologies through machine learning methods, specifically the manifestations of Parkinson's disease. The thesis compares the pre-trained speech models Wav2Vec 1.0 and Wav2Vec 2.0, originally designed for the task of automatic speech recognition, in terms of their use for the classification of normal and pathological speech. The comparison was performed on three datasets of audio recordings in different languages and for different speech tasks read text, spontaneous dialogue, monologue and A vowel articulation. Speech representations were extracted from several points of the Wav2Vec models and 6 base classifiers were tested. Both versions of Wav2Vec were also compared with traditional methods for extracting acoustic features from audio recordings. TOPSIS multicriteria analysis was used to compare the methods. The work confirmed that the Wav2Vec models perform better than traditional features extraction methods in detecting pathologies. And at the same time, the newer version of the model was shown to achieve higher performance. For the latter, however, the correct selection of the extraction layer is very important. For the verbal tasks (read text and spontaneous speech), the best results were obtained when extracting from the fourth transformation layer. For the analysis of A vowels, the latent representations were the most suitable. However, Wav2Vec 1.0 provides a computationally faster alternative with competitive performance even for Spanish speech and could thus be a suitable alternative for applications with limited computational capacity, such as deployment in wearable electronics or real-time monitoring.