Dvojjazyčné vyhledávání v dokumentech

Abstract

Tato práce se zabývá výzkumem modelů získávání informací, nejmodernějších technik vnoření slov (word embedding) a jejich možným využitím pro vícejazyčné vyhledávání. Moderní přístupy k vícejazyčnému vyhledávání, které staví na word embedding technikách, většinou pracují s~urči\-tou transformací, která převádí reprezentace slov z jednoho jazyka do druhého. Cílem této práce je zkoumat model, který s touto transformací nepracuje a namísto toho rovnou získává závislosti mezi překlady. Nad tímto modelem by pak měl být vystavěn prototyp webového vyhledávače. Práce v tomto dostála všem očekáváním a výsledný model byl schopný reprezentovat dvojjazyčné překlady napřímo bez použití jakékoliv transformace. Toho bylo dosaženo s využitím paralelně přeložených dokumentů Evropské Unie, které byly pro oba jazyky spojeny na úrovni odstavců. Prototyp vyhledávače poté fungoval na základě naučených reprezentací jednotlivých slov, vyvozených z tohoto modelu.

This thesis is concerned with the research of information retrieval models, state-of-the-art word embedding techniques and their possible use for multilingual retrieval. Modern approaches to multilingual retrieval that build on word embedding techniques usually work with some transformation that converts word representations from one language to another. The aim of this thesis is to investigate a model that does not work with this transformation and instead directly extracts dependencies between translations. A prototype web search engine should then be built on top of this model. The work has met all expectations and the resulting model was able to represent bilingual translations directly without using any transformation. This was achieved using parallel translated European Union documents, which were linked at paragraph level for both languages. The prototype search engine then operated based on the learned word representations derived from this model.