Lineární diskriminační analýza na proudu příznaků

Abstract

Tato práce se věnuje lineární diskriminační analýze rozšířené o vertikální inkrementaci s konstantní regularizací. Pod pojmem vertikální inkrementace se rozumí přidání vektorů příznaků objektů místo tradičního doplnění množiny vzorků. Regularizace slouží k řešení problému multikolinearity (závislých příznaků). Je podporována diskrétní klasifikace, která probíhá na základě Bayesova rozhodovacího pravidla. Pro zrychlení výpočtu vnitřní struktury modelu je využita Choleského dekompozice, dopředná a zpětná substituce. Implementace je napsána v jazyce Python a je testována na reálných datových sadách a syntetických datech. Výsledky testování ukazují, že klasifikační model s vertikální inkrementací může nabídnout 10× rychlejší učení modelu oproti jeho dávkovému analogu při stejné klasifikační přesnosti. Finální časové zrychlení vertikální inkrementace závisí na množství příznaků a vzorků.

The thesis deals with linear discriminant analysis extended by vertical increment with constant regularization. The term vertical increment means adding descriptor/feature vectors of objects instead of traditional complement of set of samples. Regularization serves to solve the problem of multicollinearity (dependent descriptors). Multiclass classification is supported and takes place on the basis of the Bayes decision rule. The Cholesky decomposition, forward and backward substitution are used to accelerate the computation of the inner structure of the model. Implementation is written in Python and is tested on real datasets and synthetic data. The results of testing show that the classification model with vertical increment could offer 10× faster model training compared to its batch analog while having the same classification precision. The final time acceleration of vertical increment depends on the amount of features and samples.