End-to-End syntéza řeči: Rešerže a základní implementace

Abstract

Syntéza řeči hraje klíčovou roli v aplikacích, které umožňují lidem komunikovat s technologiemi přirozeným způsobem, například v asistenčních systémech pro osoby se zdravotním postižením nebo v~interaktivních hlasových asistentech. Nejvíce se rozvíjejícím přístupem v současnosti je syntéza řeči metodou End-to-End, která využívá hluboké neuronové sítě k~přímému převodu textu na řeč. Tato práce se zaměřuje na popis a základní implementaci systému pro syntézu řeči metodou E2E. Systém je postaven na architektuře Tacotron 2, která kombinuje predikci mel-spektrogramů z textu a modifikovaný generátor zvuku WaveGlow. Implementace probíhala s využitím otevřených nástrojů a knihoven, přičemž trénování bylo prováděno na anglické databázi LJ Speech o celkovém trvání 24~hodin nahrávek. Bylo natrénováno 5 modelů na 5 různě dlouhých částech dostupné databáze LJ~Speech. Informativní hodnocení kvality syntetizované řeči bylo provedeno za použití metriky DTW (Dynamic Time Warping) na bázi kepstrálních koeficientů a~subjektivního posouzení přirozenosti výstupu. Výsledky potvrzují očekávaný výsledek, že větší množství trénovacích dat přispívá ke zlepšení kvality syntetizovaného hlasu, ačkoli i s menšími soubory dat lze dosáhnout uspokojivých výsledků pro základní aplikace.

Speech synthesis plays a key role in applications that allow people to naturally interact with technology, such as assistive systems for people with disabilities or interactive voice assistants. The most prominent approach today is speech synthesis using the End-to-End method, which uses Deep Neural Networks to directly convert text to speech. This thesis focuses on the research and basic implementation of an E2E speech synthesis system. The system is based on the Tacotron 2 architecture, which combines mel-spectrogram prediction from text and a modified WaveGlow audio generator. The training of Tacotron2 model was carried out using open source tools and libraries, and was performed on the English LJ Speech database with a total duration of 24 hours of recordings. Five models were trained on 5 different lengths of the available LJ Speech database. Informative evaluation of the quality of the synthesized speech was performed using the Dynamic Time Warping (DTW) on cepstral coefficients and a an informal listening assessment of the naturalness of the output. The results confirm the expected result that a larger amount of training data contributes to improving the quality of the synthesized voice, although even smaller datasets can achieve satisfactory results for basic applications.