Sophia the Robot - vývoj rozšíření softwaru - detekce a reakce na focení telefonní kamerou
Sophia the Robot - Development of a Software Extension - Detection and Reaction to Being Photographed by a Phone Camera
Type of document
diplomová prácemaster thesis
Author
Jakub Šura
Supervisor
Hanson David
Opponent
Hoffmann Matěj
Study program
Kybernetika a robotikaInstitutions assigning rank
katedra kybernetikyRights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item recordAbstract
Tato práce se věnuje rozšíření možností Sophie, humanoidního robota známého realistickým expresivním obličejem a interakcemi. Projekt se zaměřuje na vývoj pokročilého systému vnímání a pozornosti, který má za cíl zlepšit skupinovou interakci, přičemž klade důraz na schopnost detekovat situaci kdy je robot fotografován a reagovat přirozeným způsobem. Zásadní součástí projektu je komplexní přepracování softwaru, aplikace moderních technologií strojového učení, jako jsou modely pro zero-shot detekci a multimodální velké jazykové modely, spolu s nově navrženým modulem pro řízení pozornosti, který imituje dynamickou humanoidní interakci. Implementace využívá Robot Operating System (ROS), což umožňuje adaptaci systému pro jiné robotické platformy. Současně jsou navrženy úpravy hardwaru, které podporují rozšířené senzorické požadavky. Systém byl testován a hodnocen na reálných situacích, kde hodnocení uživatelů sloužilo k porovnání reakcí robota s typickými lidskými reakcemi. Tato práce přináší pokrok v oblasti humanoidní robotiky tím, že demonstruje flexibilní systém pro zlepšení reaktivity robotů v aplikacích zaměřených na interakci s člověkem. This thesis presents an enhancement of Sophia the Robot, a humanoid platform renowned for its human-like expressions and interactions. The project focuses on developing an advanced human-robot interaction system aimed at enhancing multi-party awareness, with a particular emphasis on adding the ability to detect being photographed and to respond in a natural manner. Essential to this initiative is a comprehensive software overhaul, supported by emerging machine learning technologies, such as zero-shot detection and multimodal large language models, and a novel gaze control behavior module that mimics human-like dynamic interactions. The implementation utilizes the Robot Operating System (ROS), enhancing adaptability for use in other robotic systems. Concurrently, proposed hardware modifications support the enhanced sensory requirements. The system was tested and evaluated in real-world scenarios, with user evaluations designed to compare the responses to typical human reactions. This research advances humanoid robotics by demonstrating a customizable framework for improving robotic responsiveness in human-centric applications.
Collections
- Diplomové práce - 13133 [495]
Related items
Showing items related by title, author, creator and subject.
-
Využití robota LEGO Mindstorms EV3 - návrh a realizace robota "Ball-riding robot" pro propagační účely fakulty
Author: Malý Jakub; Supervisor: Hlinovský Martin; Opponent: Kirschner Filip
(České vysoké učení technické v Praze. Vypočetní a informační centrum.Czech Technical University in Prague. Computing and Information Centre., 2018-06-05)Tato bakalářská práce prezentuje metody pro modelování a ovládání pohybu Ball-riding robotu. K sestavení robotu je použita LEGO Mindstorm EV3 stavebnice. Robot je poháněn třemi všesměrovými koly a jakožto koule k balancování ... -
Využití robotů LEGO MINDSTORMS -návrh soutěžní úlohy robotický fotbal
Author: Chada Michal; Supervisor: Hlinovský Martin; Opponent: Samek Martin
(České vysoké učení technické v Praze. Vypočetní a informační centrum., 2013-01-30) -
Návrh pohybových primitiv pro šestinohý kráčející robot pohybující se v nerovném prostředí
Author: Mrva Jakub; Supervisor: Vaněk Petr; Opponent: Vonásek Vojtěch
(České vysoké učení technické v Praze. Vypočetní a informační centrum., 2014-06-27)