Sophia the Robot - vývoj rozšíření softwaru - detekce a reakce na focení telefonní kamerou

Abstract

Tato práce se věnuje rozšíření možností Sophie, humanoidního robota známého realistickým expresivním obličejem a interakcemi. Projekt se zaměřuje na vývoj pokročilého systému vnímání a pozornosti, který má za cíl zlepšit skupinovou interakci, přičemž klade důraz na schopnost detekovat situaci kdy je robot fotografován a reagovat přirozeným způsobem. Zásadní součástí projektu je komplexní přepracování softwaru, aplikace moderních technologií strojového učení, jako jsou modely pro zero-shot detekci a multimodální velké jazykové modely, spolu s nově navrženým modulem pro řízení pozornosti, který imituje dynamickou humanoidní interakci. Implementace využívá Robot Operating System (ROS), což umožňuje adaptaci systému pro jiné robotické platformy. Současně jsou navrženy úpravy hardwaru, které podporují rozšířené senzorické požadavky. Systém byl testován a hodnocen na reálných situacích, kde hodnocení uživatelů sloužilo k porovnání reakcí robota s typickými lidskými reakcemi. Tato práce přináší pokrok v oblasti humanoidní robotiky tím, že demonstruje flexibilní systém pro zlepšení reaktivity robotů v aplikacích zaměřených na interakci s člověkem.

This thesis presents an enhancement of Sophia the Robot, a humanoid platform renowned for its human-like expressions and interactions. The project focuses on developing an advanced human-robot interaction system aimed at enhancing multi-party awareness, with a particular emphasis on adding the ability to detect being photographed and to respond in a natural manner. Essential to this initiative is a comprehensive software overhaul, supported by emerging machine learning technologies, such as zero-shot detection and multimodal large language models, and a novel gaze control behavior module that mimics human-like dynamic interactions. The implementation utilizes the Robot Operating System (ROS), enhancing adaptability for use in other robotic systems. Concurrently, proposed hardware modifications support the enhanced sensory requirements. The system was tested and evaluated in real-world scenarios, with user evaluations designed to compare the responses to typical human reactions. This research advances humanoid robotics by demonstrating a customizable framework for improving robotic responsiveness in human-centric applications.