Multimodální variační autoenkodér pro generování akcí na základě instrukcí

Abstract

Multimodální variační autoenkodéry (VAE) jsou generativní modely umožňující propojení jednotlivých datových vstupů do společné latentní reprezentace, nebo generování jedné modality na základě jiné. Ačkoli bylo navrženo několik variant multimodálních VAE, jejich testování na praktických a reálných úlohách s heterogenními nebo sekvenčními daty bylo doposud velmi omezené. Tato práce nejprve systematicky hodnotí a porovnává existující metody pomocí nového nástroje a datasetu, které umožňují definovat jejich silné a slabé stránky. Dále práce navrhuje a zkoumá různé úpravy VAE, jako je automatické hledání hyperparametrů, inkrementální učení z malého množství dat nebo nově navržený přístup fúze modalit založený na transformerech. Nakonec je vytvořena kolekce simulovaných robotických datasetů obsahujících pokyny v přirozeném jazyce, obrázky a robotické akce, a je použita k ohodnocení současných metod i nově navržených úprav. Celkově práce přispívá k adaptaci multimodálních VAE pro komplexní sekvenční data a otevírá nové možnosti pro jejich použití v reálných aplikacích.Multimodal Variational Autoencoders (VAEs) are powerful generative models, enabling the fusion of various inputs into a joint representation or generation of one modality from another. Although several variants of multimodal VAEs have been proposed, their evaluation in practical real-world applications with heterogenous or sequential data has been limited. This dissertation first systematically evaluates and compares the existing methods on a new benchmarking toolkit and dataset to define their strengths and limitations. Next, several adjustments to the state-of-the-art VAEs are explored such as automatic hyperparameter tuning, incremental few-shot learning or training with the newly proposed transformer-based modality fusion approach. Finally, a collection of simulated robotic datasets comprising natural language instructions, images and robotic actions is created. The datasets are used to evaluate the current methods as well as the proposed adjustments. Overall, the work contributes to the advancement of multimodal VAEs in handling complex sequential data and opens up new possibilities for their use in practical real-world applications.