Konvoluční neuronové sítě s lokálními kontextovými maskami

Abstract

Práce navrhuje, implementuje a vyhodnocuje užití modifikované konvoluční operace v konvolučních neuronových sítích, která explicitně uvažuje dodatečný kontext při zpracování dat. Toho je docíleno mechanismem, ve kterém lokální kontext nabývá formy lokální konvoluční masky s reálnými hodnotami, která přiděluje vyšší váhy kontextuálně blízkým datům a nižší váhy kontextuálně vzdáleným datům. Text shrnuje základy strojového učení a stručně probírá teoretický základ navrhované metody. Jsou natrénovány sítě využívající tradiční a novou operaci pomocí jednoduchého, férového trénovacího procesu. Předpoklady mnoha prospěšných vlastností operace jsou vyvráceny, některé předpoklady jsou potvrzeny. Tradiční konvoluce v experimentech dosahuje lepších výsledků než nově navržená operace.

This work proposes, implements and evaluates modified convolution operation within CNNs which explicitly considers additional context when processing data. This is done through a mechanism where local context corresponds to a local real-valued convolution mask which assigns higher weights to contextually close data and lower weights to contextually distant data. Basics of machine learning are briefly reviewed and theoretical background for the method is given. Networks with and without the novel operation are trained with a simple, fair training process, utilizing identical training parameters. Many expectations of potential benefits are refuted, some are confirmed. Traditional convolution is found to achieve better results in the experiments than the proposed novel operation.