Tvorba modelu multisenzorní integrace pro reprezentaci peripersonálního prostoru pomocí metod strojového učení

Abstract

Cílem této práce je vytvořit model multisenzorní integrace se zaměřením na vizuální a taktilní modalitu, který je možné použít pro reprezentaci peripersonálního prostoru - prostoru těsně obklopujícího povrch těla. Model se učí bez učitele z dat senzorů vizuální a taktilní modality (umělá kůže), vytvořených ve virtuálním 2D prostoru. První část modelu se zaměřuje na prostorový aspekt problému: vizuální a taktilní modalita se v části prostoru překrývá a korelace stimulů z obou modalit v této části prostoru umožňují modelu naučit se souvislosti mezi stimuly z těchto modalit. První část je tvořena Omezeným Boltzmannovým strojem (RBM) a zajišťuje vizuo-taktilní integraci a kompaktnější reprezentaci stimulů. Druhou částí je Podmíněný Omezený Boltzmannův stroj (CRBM), který přidává časovou dimenzi, a proto umožňuje učení se z přibližujících se stimulů k simulované kůži. Po naučení je možné predikovat ze stimulu v okolí kůže následující stimulaci kůže. Vstupem této CRBM je populace vizuo-taktilních multisenzorních neuronů, tvořících skrytou vrstvu zmíněné RBM. Model bude v budoucnu implementován do humanoidního robota s umělou kůží a tím rozšířen do 3D prostředí.

The goal of this thesis is to create a model of multisensory integration with focus on visual and tactile modalities, applied specifically to the problem of learning the representation of peripersonal space -- the space immediately surrounding our bodies. The model is learned in an unsupervised way, using simulated data in a virtual 2D space perceived by visual and tactile sensors. The focus is first on the spatial aspects of the problem: the visual and tactile modalities overlap on the part of the hypothetical space that is covered by sensitive skin and the correlations thus induced allow the model to learn. The first part of the model is a Restricted Boltzmann Machine (RBM) and is used for visuo-tactile integration and compact representation of stimuli. The second part is a Conditional Restricted Boltzmann Machine (CRBM), which adds a temporal dimension and allows to learn from stimuli approaching the simulated skin and predict oncoming touch. The input of the CRBM is a population of multimodal (visuo-tactile) neurons that were formed in the hidden layer of the RBM. In the future, the model will be implemented on a humanoid robot with artificial skin and extended into a 3D environment.