Částečně řízené učení milionů astronomických spekter

Abstract

Použili sme čiastočne riadené učenie na detekciu emisných spektier v archíve z observatória LAMOST za pomoci masívne paralelného prostredia Spark. Implementovali sme aplikáciu, ktorá tieto spektrá predspracuje a aplikuje sériu transformácii aby sme tieto dáta mohli použiť na trénovanie modelov. Ďalej sme implementovali algoritmy čiastočne riadeného učenia, založené na grafovej reprezentácii dát, zvané Label Propagation a Label Spreading. tieto algoritmy používame na naučenie modelu, ktorý spektrá bude klasifikovať. Aplikovali sme tieto algoritmy na podmnožinu archívu, ktorej veľkosť bola jeden milión spektier.

We use semi-supervised learning to detect spectra with emission in an archive from the LAMOST observatory using a massively parallel environment called Spark. We have implemented a preprocessing application that would take original raw spectra and apply series of transformations in order for them to be usable for training models. We have also implemented graph-based semi-supervised algorithms Label Propagation and Label Spreading. We use these to fit the models and then classify the spectra. We have applied these algorithms to a subsample of the archive of size one million of spectra.