Detekce podobností datových domén pomocí metod strojového učení
Detecting similarities of data domains using machine learning methods
Type of document
diplomová prácemaster thesis
Author
Andrej Oliver Chudý
Supervisor
Buk Zdeněk
Opponent
Surynek Pavel
Field of study
Znalostní inženýrstvíStudy program
InformatikaInstitutions assigning rank
katedra aplikované matematikyRights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item recordAbstract
Cieľom tejto práce je navrhnúť a zostrojiť systém, na základe ktorého by bolo možne efektívne porovnávať podobnosť v stĺpcoch tabuľky. Bolo preukázané, že vektorová reprezentácia stĺpca vytvorená pomocou rekurentnej neurónovej siete je schopná dobre zakódovať vlastnosti domény, ktorú reprezentuje. V porovnaní s TF-IDF metódou, ktorá je na tento účel najčastejšie používaná, RNN dosiahli zlepšenie až o \textbf{14,5\%}. Na základe výsledkov tejto práce bol implementovaný a nasadený systém na doporučovanie Business Terms v produkte Ataccama One. This thesis describes the design and implementation of a system for comparing the similarity of columns in an arbitrary database. We have shown that our system, based on recurrent neural networks, outperforms the industry standard TF-IDF method by \textbf{14.5\%}. We therefore, conclude that our system is capable of learning to effectively recognize the domain properties of data in the database. We deployed the described system in Atacama One, where it is responsible for Business Terms recommendations.
Collections
- Diplomové práce - 18105 [195]