Analýza heuristickych metod zefektivnění algoritmů strojového učení a studium jejich principů

Abstract

Umělé neuronové sítě se považují za nejmodernější modely strojového učení. Byly úspěšně využity v nejrůznějších oborech. Nicméně, složitější úkoly vyžadují vyspělejší struktury a metody učení. Tato práce zkoumá čtyři metody optimizace: genetické algoritmy, simulace žíhání, pruning a transfer learning. Jsou popsány jejich principy a příklady aplikace. Kromě toho jsou prozkoumány nejmodernější modifikace těchto algoritmů a jejich teoretické základy. Tato rešerše ukázala, že, i přes intenzivní zkoumání a experimenty, výhody a nevýhody těchto modifikací jsou nejasné. Nicméně, tato rešerše se pokusí prozkoumat nejslibnější algoritmy a porovnat je, což bude užitečné pro budocí práci.Artificial neural networks are considered the state-of-the-art machine learning models. They have been applied to various fields. However, complex tasks require more advanced structures and training methods. This paper studies four optimization techniques: genetic algorithms, simulated annealing, pruning, and transfer learning. The principles and application examples of these methods are described. Besides that, this paper investigates the most advanced modifications of the algorithms and their theoretical backgrounds. The study has shown that despite intensive research and experiments, the relative advantages and disadvantages of the modifications are still unclear. Nevertheless, this paper attempts to study the most promising algorithms and conduct their comparison, which may be of use in future work.