Wav2Vec: Analýza příznakového prostoru pro studium řeči v biomedicíně

Abstract

Oblast automatického rozpoznání řeči strojového učení se velmi rychle vyvíjí. Její metody můžou pomoct při detekci patologií na základě audio signálu řeči. Jednou z takových metod je i Wav2Vec 2.0. S použitím základní verze tohoto modelu z Python knihovny torchaudio.pipelines jsem vytvořil přepisy italských foneticky vyvážených slov z datasetu dvou zdravých kontrolních skupin (mladší a starší) a skupiny pacientů Parkinsonovy choroby. K získání přepisu jsem využil hladového dekodéru a vypočítal pro něj character error rate (CER). Současně jsem vytvořil vizualizace příznakového prostoru přepisovaných slov. Z vytvořených dat vznikly dva menší datasety. První vyjadřovaje průměrný CER skupiny pro každé slovo, druhý obsahuje průměry CER jednotlivých účastníků všech jejich slov. Testování těchto dat potvrdilo statisticky významný rozdíl mezi skupinou mladších účastníků a pacientů s Parkinsonovou chorobou.

The automatic speech recognition of machine learning field is developing very quickly. Its methods can help in the detection of pathologies based on the audio signal of speech. One such method is Wav2Vec 2.0. Using the basic version of this model from the Python torchaudio.pipelines library, I created transcriptions of Italian phonetically balanced words from the dataset of two healthy control groups (younger and older) and a group of Parkinsons disease patients. To obtain the transcription, I used a greedy decoder and calculated the character error rate (CER) for it. At the same time, I created visualizations of the feature space of the transcribed words. From the created data, two smaller datasets were created. The first expresses the average CER of the group for each word, the second contains the averages of the CER of individual participants of all their words. Testing of these data confirmed a statistically significant difference between the group of younger participants and patients with Parkinsons disease.