Obohacení datové sady DBpedia NIF
Enrichment of the DBpedia NIF dataset
Typ dokumentu
diplomová prácemaster thesis
Autor
Pragalbha Lakshmanan
Vedoucí práce
Dojčinovski Milan
Oponent práce
Klímek Jakub
Studijní obor
Web and Software EngineeringStudijní program
Informatics (in English)Instituce přidělující hodnost
katedra softwarového inženýrstvíPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
DBpedia je komunitní úsilí založené na davu, jehož cílem je získávat informace z ˇclánk°u Wikipedie a poskytovat tyto informace ve strojovˇe ˇcitelném formátu. Datový soubor DBpedia NIF poskytuje obsah všech ˇclánk°u Wikipedie ve 128 jazycích. Koneˇcným cílem práce je obohatit datovou sadu o další informace, jejichž hlavní výzvou je velikost datové sady. Implementace spoˇcívá v pˇredbˇežném zpracování souboru dat oddˇelením obsahu jednotlivých ˇclánk°u Wikipedie do samostatných soubor°u, protože soubor dat NIF obsahuje obsah všech ˇclánk°u v jednom obrovském souboru. Pˇredbˇežné zpracování textu napomáhá k využití datové sady pro školení r°uzných úloh zpracování pˇrirozeného jazyka. Po provedení následuje provedení NLP úkol°u, a to rozdˇelení vˇet, Tokenizace, ˇcást znaˇckování ˇreˇci. Nakonec pˇrisp ˇet do komunity DBpedia pˇridáním dalších odkaz°u na ˇclánky wikipedia. Koneˇcnˇe, vyhodnocení výsledk°u a kontrola správnosti výsledk°u statisticky. DBpedia is a crowd-sourced community effort which aims at extracting information from Wikipedia articles and providing this information in a machine-readable format. DBpedia NIF dataset provides the content of all Wikipedia articles in 128 languages. The ultimate goal of the thesis is to enrich the dataset with additional information where the main challenge is the size of the dataset. The implementation comprises of pre-processing the dataset by segregating the contents of individual Wikipedia articles into separate files, as the NIF dataset comprises the contents of all the articles in one huge file. The text pre-processing helps in order to use the dataset for training different Natural language processing tasks. The implementation is followed by performing NLP tasks namely sentence splitting, Tokenization, Part of speech tagging. Eventually contribute to the DBpedia community by adding additional links to the wikipedia articles. Finally, evaluating the results and checking the correctness of the results statistically.
Kolekce
- Diplomové práce - 18102 [1006]