Jak se naučit reprezentovat peripersoání prostor: Od mozku k robotům

Abstract

Předpokládá se, že reprezentace prostoru v těsné blízkosti těla (peripersonální prostor -- PPP), významně přispívá k obrannému chování a tím i k přežití. Navzdory četným empirickým poznatkům o reprezentaci PPP u lidí i opic, zůstávají neurální mechanismy, které jsou základem těchto procesů, z velké části neznámé. V této práci se zabýváme především myšlenkou, že vizuálně-taktilní (nebo zvukově-taktilní) predikce -- vizuální (nebo zvukový) podnět se využije k předpovědi budoucího kontaktu s tělem vnímaného prostřednictvím dotyku -- je klíčovým mechanismem reprezentace PPP, jak naznačují první poznatky. Tento mechanismus jsme zkoumali pomocí výpočetních modelů. Začali jsme s hmatovou modalitou a vyvinuli jsme biologicky inspirovanou reprezentaci velkých ploch povrchu těla humanoidního robota. Reprezentace byla založena na modifikované neuronové síti samoorganizující se mapy, natrénované na taktilních datech z humanoidního robota, což umožnilo zahrnout předchozí znalosti o reprezentaci povrchu těla v primární somatosenzorické kůře. Tento výzkum byl využit ke zkoumání procesu tvorby této reprezentace. Následovaly modely provádějící vizuálně-taktilní predikci. První model využíval architekturu neuronové sítě, která kombinovala omezený Boltzmannův stroj pro integraci polohy a rychlosti s dopřednou neuronovou sítí pro předpovídání budoucího kontaktu s tělem. Model prokázal proveditelnost vizuálně-taktilní predikce replikováním jevu expanze PPP, ke kterému dochází s rostoucí rychlostí blížícího se podnětu. Druhým modelem byl normativní model založený na bayesovské teorii rozhodování. Tento model úspěšně replikoval mnoho klíčových charakteristik kódování PPP. Abychom prozkoumali vývoj reprezentace PPP s daty interakce podobné interakci dítěte a pečovatele, vytvořili jsme model využívající nezpracované vizuálně-taktilní vstupy. Začali jsme s hlubokou neuronovou sítí založenou na prediktivním kódování pro predikci dalšího snímku videa, která dosáhla výkonu na úrovni nejlepších aktuálních metod. Následně byla tato síť rozšířena o taktilní modalitu a využila nezpracované vizuálně-taktilní vstupy gene-rované během interakce mezi humanoidním robotem a osobou, která napodobuje interakci mezi dítětem a pečovatelem. Zpráva o této probíhající práci s předběžnými výsledky je součástí práce.

The encoding of space in close proximity to the body, referred to as peripersonal space (PPS), is believed to contribute significantly to defensive behavior and consequently, survival. Despite numerous empirical findings on PPS representations in both humans and monkeys, the neural mechanisms underlying these processes remain largely unknown. In this thesis, we primarily investigate the idea that visuo-tactile (or audio-tactile) prediction---the use of a visual (or auditory) stimulus to predict a future contact with the body perceived through touch---is a key mechanism of PPS encoding, as initial evidence suggests. We started with the tactile modality and developed biologically-inspired representation of large areas of the body surface of the humanoid robot. The representation was based on a modified self-organizing map neural network, trained on tactile data from the humanoid robot, which allowed to incorporate prior knowledge about the representation of the body surface in the primary somatosensory cortex. This research was employed to investigate the process of formation of the representation. This was followed by models performing visuo-tactile prediction. One model employed a neural network architecture which combined a Restricted Boltzmann Machine to integrate position and velocity, with a feedforward neural network for predicting future contact with the body. The model demonstrated the feasibility of visuo-tactile prediction by replicating the phenomenon of PPS expansion, which occurs as velocity of an approaching stimulus increases. The second model was a Bayesian Decision Theory based normative model. This model successfully replicated many crucial characteristics of PPS encoding. In order to investigate the development of PPS encoding with child-caregiver-like interaction data, we created a model utilizing raw visuo-tactile inputs. We began with a deep neural network based on predictive coding for next-frame video prediction that achieved state-of-the-art performance. Subsequently, this network was extended to include the tactile modality and utilized raw visuo-tactile inputs generated during an interaction between a humanoid robot and a person, emulating the interaction between a child and a caregiver. The ongoing work report with preliminary results is included in the thesis.