Semi-supervizované učení hlubokých neuronových sítí

Abstract

Semi-supervizované učení se vyznačuje tím, že využívá i dodatečné informace z neoštítkované části trénovacích dat. Tato práce porovnává dva algoritmy semi-supervizovaného učení hlubokých neuronových sítí na reálných malwarových datech. Jedním z nich je metoda Pseudo-labeling. Ta využívá neoštítkované vzorky klasifikované s vysokou jistotou, jako by tak byly skutečně označené. Druhý přístup je založen na zachování konzistence výsledků neuronové sítě za různých okolností. Byl implementován jeden takový algoritmus, Pi-model, který porovnává výstupy sítě pro různě pozměněná vstupní data. Pro srovnání jsou také uvedeny výsledky plně supervizovaného učení, které používá pouze oštítkované vzorky. Přesnost predikce těchto metod je vyhodnocena v závislosti na poměru velikosti oštítkované části trénovacích dat.

Semi-supervised learning is characterized by using the additional information from the unlabeled data. In this thesis, we compare two semi-supervised algorithms for deep neural networks on a large real-world malware dataset. Specifically, we evaluate the performance of a rather straightforward method called Pseudo-labeling, which uses unlabeled samples, classified with high confidence, as if they were the actual labels. The second approach is based on an idea to increase the consistency of the network's prediction under altered circumstances. We implemented such an algorithm called Pi-model, which compares outputs with different data augmentation and different dropout setting. As a baseline, we also provide results of the same deep network, trained in the fully supervised mode using only the labeled data. We analyze the prediction accuracy of the algorithms in relation to the size of the labeled part of the training dataset.