Obohacení datové sady DBpedia NIF

Abstract

DBpedia je komunitní úsilí založené na davu, jehož cílem je získávat informace z ˇclánk°u Wikipedie a poskytovat tyto informace ve strojovˇe ˇcitelném formátu. Datový soubor DBpedia NIF poskytuje obsah všech ˇclánk°u Wikipedie ve 128 jazycích. Koneˇcným cílem práce je obohatit datovou sadu o další informace, jejichž hlavní výzvou je velikost datové sady. Implementace spoˇcívá v pˇredbˇežném zpracování souboru dat oddˇelením obsahu jednotlivých ˇclánk°u Wikipedie do samostatných soubor°u, protože soubor dat NIF obsahuje obsah všech ˇclánk°u v jednom obrovském souboru. Pˇredbˇežné zpracování textu napomáhá k využití datové sady pro školení r°uzných úloh zpracování pˇrirozeného jazyka. Po provedení následuje provedení NLP úkol°u, a to rozdˇelení vˇet, Tokenizace, ˇcást znaˇckování ˇreˇci. Nakonec pˇrisp ˇet do komunity DBpedia pˇridáním dalších odkaz°u na ˇclánky wikipedia. Koneˇcnˇe, vyhodnocení výsledk°u a kontrola správnosti výsledk°u statisticky.

DBpedia is a crowd-sourced community effort which aims at extracting information from Wikipedia articles and providing this information in a machine-readable format. DBpedia NIF dataset provides the content of all Wikipedia articles in 128 languages. The ultimate goal of the thesis is to enrich the dataset with additional information where the main challenge is the size of the dataset. The implementation comprises of pre-processing the dataset by segregating the contents of individual Wikipedia articles into separate files, as the NIF dataset comprises the contents of all the articles in one huge file. The text pre-processing helps in order to use the dataset for training different Natural language processing tasks. The implementation is followed by performing NLP tasks namely sentence splitting, Tokenization, Part of speech tagging. Eventually contribute to the DBpedia community by adding additional links to the wikipedia articles. Finally, evaluating the results and checking the correctness of the results statistically.