Recognition of extremist texts
Rozpoznávání extremistických textů
Authors
Supervisors
Reviewers
Editors
Other contributors
Journal Title
Journal ISSN
Volume Title
Publisher
České vysoké učení technické v Praze
Czech Technical University in Prague
Czech Technical University in Prague
Date of defense
Abstract
Tato práce je zaměřena na rozpoznávání extremistických textů s využitím modelů supervizovaného strojového učení. Cílem je vytvoření klasifikačního systému schopného detekovat vybrané druhy extremistických textů. V rámci této práce byly vytvořeny tři různé datasety českých textů, přičemž extremistický dataset obsahuje zejména neonacistické a nacistické texty. Navržený klasifikační systém vytváří predikce na základě váženého hlasování několika dílčích klasifikátorů. Tyto klasifikátory byly vytvořeny pomocí implementovaného trénovacího programu. Vhodné kombinace metod pro tvorbu klasifikátorů byly vybrány na základě provedených experimentů. Při těchto experimentech byla odhadována úspěšnost klasifikace textu v závislosti na použitých metodách pro předzpracování textu a extrakci příznaků. Pro klasifikaci textu byly využity dva různé klasifikační modely, SVM a Random forest. Přesnost výsledného klasifikačního systému je odhadována na 85 \%.
The focus of this thesis is recognition of extremist texts using supervised machine learning models. The goal is to create a classification system capable of specific extremist text detection. Three different datasets were created in this thesis, with the extremist one being focused mainly on nazi and neo-nazi texts. Proposed classification system creates predictions based on weighted votes of partial classificators. These classificators were created using an implemented training program. Appropriate combinations of methods for their creation were chosen based on performed experiments. In these experiments classification success rate was estimated based on used text preprocessing method and feature extraction method. Two classification models were used for text classification, specifically SVM and Random forest. Accuracy of the final classification system is estimated to be 85 \%.
The focus of this thesis is recognition of extremist texts using supervised machine learning models. The goal is to create a classification system capable of specific extremist text detection. Three different datasets were created in this thesis, with the extremist one being focused mainly on nazi and neo-nazi texts. Proposed classification system creates predictions based on weighted votes of partial classificators. These classificators were created using an implemented training program. Appropriate combinations of methods for their creation were chosen based on performed experiments. In these experiments classification success rate was estimated based on used text preprocessing method and feature extraction method. Two classification models were used for text classification, specifically SVM and Random forest. Accuracy of the final classification system is estimated to be 85 \%.
Description
Keywords
extremismus, klasifikace textu, strojové učení, zpracování přirozeného jazyka, extrakce příznaků, ladění hyperparametrů, random forest, support vector machine, extremism, text classification, machine learning, natural language processing, feature extraction, hyperparameter tuning, random forest, support vector machine
Citation
Underlying research data set URL
Permanent link
Rights/License
A university thesis is a work protected by the Copyright Act of the Czech Republic. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one`s own expense. The use of thesis should be in compliance with the Copyright Act.
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem v platném znění.
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem v platném znění.