Enrichment of the DBpedia NIF dataset

Abstract

DBpedia je komunitním projektem který má za cíl poskytnout obsah ˇclánku z Wikipedie ve strojovˇ e ˇcitelném formátu. DBpedia poskytuje získanou informaci jako NIF dataset obsahující všechny ˇclánky z Wikipedie v 128 jazycích. Cílem diplomové práce je obohatit datový soubor o výsledky rozdˇ elení na vˇety, rozdˇelování tokenu, nacházení ˇcástí ˇreˇci a tokenu a obohacení odkazu pro Wikipedia ˇclánky v Anglickém, Francouzském, Nˇemeckém, Španˇelskem a Japonským jazycích. Následnˇe na výsledku pouštíme ru zné NLP úlohy, konkrétnˇe rozdˇelení vˇet, Tokenizaci a oznaˇcování ˇcástí ˇreˇci. Pozdˇeji pˇrispˇejeme do DBpedia komunity pˇridáním dalších odkazu na ˇclánky z Wikipedie. Nakonec vyhodnotíme a zkontrolujeme statistickou výsledku . Obohacení datasetu výsledkami tˇechto úloh bude nápomocné pro provedení složitˇejších a víc mocných NLP úloh.

DBpedia is a crowd-sourced community effort which aims at extracting information from Wikipedia articles and providing this information in a machine-readable format. DBpedia provides the extracted information as NIF datasets with the content of all Wikipedia articles in 128 languages. The aim of the thesis is to enrich this dataset with additional information by providing the results of splitting sentences, segregating tokens, finding parts of speech for tokens and enhancing links for the content of Wikipedia articles in English, French, German, Spanish and Japanese languages. The implementation consists of performing NLP tasks namely sentence splitting, tokenization, part of speech tagging on the pre-processed NIF datasets. Eventually contributing to the DBpedia community by adding additional links to the Wikipedia articles. Finally, evaluating the runtime of various NLP tasks and checking the accuracy of the results statistically. Enriching NIF dataset with the result-set of NLP tasks generated from the tool, is useful for performing more complicated NLP task(s).