Unsupervised machine translation between Czech and German language

Abstract

Nedávný výzkum ukázal, že je možné navrhnout překladový systém, který se učí z čistě jednojazyčných textů. Ačkoli kvalita výsledného překladu stále zaostává za standardními systémy trénovanými pomocí textů předem přeložených člověkem, tyto výzkumné snahy otevírají nové možnosti pro datově chudé jazykové páry. Tato práce poskytuje přehled technik pro strojový překlad použitelných právě při nedostatku dat. Nejslibnější přístupy použijeme a porovnáváme jejich výsledky na česko-německém jazykovém páru. Jelikož použité metody závisí na vektorové reprezentaci slov ve vícejazyčném prostoru, zkoumáme tyto reprezentace, abychom ukázali, kolik nesou jazykově neutrální informace.

Recent research has shown that it is possible to design a model that learns to translate entirely from monolingual texts. Even though the translation quality still lags behind the state-of-the art models trained on texts translated by humans, this line of research opens new doors for low-resource language pairs. This thesis provides an overview of unsupervised techniques for machine translation applicable in low-resource conditions. We apply the most promising approaches and compare their performance on the Czech-German language pair. Since the proposed methods depend on vector representations of words in a cross-lingual space, we experiment with these representations to show how much language-neutral information they carry.