Optimalizace architektury neuronových sítí pro multiple instance learning

Abstract

Hluboké učení dosahlo značného pokroku při řešení různých složitých úkolů, a je stále nutné objevovat nové architektury neuronových sítí, což je komplikovaný a časově náročný proces. Za tímto účelem roste zájem o metody automatického vyhledávání architektur neuronových síti (Neural Architecture Search, NAS). Nové metody vyhledávání využívají pokročilé techniky strojového učení, jako je například posilované a hluboké učení. V současné době se NAS používá převážně pro konvoluční a rekurentní typy architektur. Cílem této práce je přenést stávající metody NAS do návrhu síťových architektur schopných řešit úlohy definované na množinách instancí (Multiple Instance Learning). Pro vyhodnocení účinnosti metod automatického vyhledávání architektur pro Multiple Instance Learning jsme implementovali vybrané vyhledávací algoritmy a provedli jsme rozsáhlé experimenty na několika datových sadách. Došli jsme k závěru, že zatímco NAS poskytuje praktické nástroje pro optimalizaci architektur neuronových sítí, pro optimalizaci architektury je rozhodující návrh prohledávácího prostoru.

As Deep Learning continues to make significant progress in solving various complex tasks, there is a growing need to discover novel neural network architectures, which is a complicated and time-consuming process. Neural Architecture Search (NAS) methods have emerged to automate network architecture design utilizing advanced Machine Learning techniques, such as Reinforcement Learning and Deep Learning itself. Currently, NAS has been applied mostly on convolutional and recurrent types of architectures. This thesis aims to transfer existing NAS methods to design network architectures capable of solving tasks defined on sets of instances, referred to as Multiple Instance Learning (MIL) tasks. To evaluate the effectiveness of NAS methods in the MIL setup, we implement selected search algorithms and conduct extensive experiments on benchmark datasets. We conclude that while Neural Architecture Search provides a practical framework to optimize MIL network architectures, search space design is crucial to architecture optimization.