Strojové učení bez učitele a detekce odlehlých hodnot v rozsáhlých archívech astronomických spekter

Abstract

Tato práce se zabývá studiem vlastností několika populárních algoritmů shlukovací analýzy, např. DBSCAN, K-means, Biclustering a dalších pro astronomické účely. V práci se také zkoumají metody redukce dimenzionality a algoritmus LOF pro detekci odlehlých hodnot. Porovnání výkonnosti metod je zajištěno prostřednictvím experimentů na sadě snímků spekter z observatoře Ondřejova. Metody, které vykázaly nejlepší výsledky, jsou pak otestovány na větším archivu spekter získaných s teleskopu LAMOST. Výsledky experimentů jsou důkladně analyzovány.

In this thesis we examine popular clustering algorithms such as DBSCAN, Biclustering, K-means, etc., on the task of spectra clustering. In addition, we investigate several dimensionality reduction approaches and the algorithm LOF for the outliers detection. We conduct our experiment in order to resolve the problem of spectra clustering. We select the most promising methods according to their performance on the Ondřejov dataset and then apply them on the larger LAMOST dataset. Next, we implement framework which incorporates mentioned algorithms including our implementation of LOF adapted for Apache Spark. Finally, we discuss obtained results.