Aplikace prediktivního kódování pro vizuo-taktilní integraci

Abstract

Cieľom tejto práce je natrénovať neurónovú sieť založenú na prediktívnom kódovaní, ktorá je schponá reprezentovať peripersonálny priestor, učením z obrázkov a taktilných senzorov. Neurónová sieť PreCNet, určená na predickiu ďalšieho snímku videa, založená na prediktívnom kódovaní, bola po rozšírení o taktilnú modalitu, použitá pre túto úlohu. Na učenie tejto siete som vytvoril datasety v Neurorobotickej Platforme, v ktorých sa na humanoidného robota iCuba s taktilnými senzormi na trupe, posutpne približuje objekt. Následne tento objekt robota zasiahne alebo minie. Naučené neurónvé siete boli kvantitatívne a kvalitatívne vyhodnotené, na základe ich temporálnej a priestorovej schopnosti predikovať prichádzajúci stimul. V navrhnutých experimentoch neurónová sieť dokázala implementovať vizuo-taktilnú modalitu. Zanalyzoval som nedostatky siete a navrhol možné riešenia pre budúcu prácu. Dosiahnuté výsledky naznačujú, že sieť založená na prediktívnom kódovaní je schopná multisenzornej integrácie, ktorá je nevyhnutná pre reprezentáciu peripersonálneho priestoru.

The main goal of this thesis is to train a neural network based on predictive coding, that is capable of representing peripersonal space by learning from images and tactile sensors. The PreCNet neural network for next frame video prediction, based on predictive coding, was used for this task and extended with the tactile modality. For training the network, I designed experiments in the Neurorobotics Platform, in which an object is approaching the humanoid robot iCub with tactile sensors on the torso. This object consequently hits or misses the robot. Trained neural networks were evaluated by their ability to predict looming stimulus temporally and spatially, both quantitatively and qualitatively. In the designed experiments the neural network was able to implement visuo-tactile integration. I analyzed the drawbacks of this model and put forward improvements for future work. Achieved results indicate that a network based on predictive coding is capable of multisensory integration, which is necessary for the representation of peripersonal space.