Hlasem řízená stylizace videohovoru s využitim difuzních modelů

Abstract

Tato práce představuje systém Meet-In-Style, nové řešení pro stylizaci videa v reálném čase s možností hlasového ovládání. Systém kombinuje nejmodernější difuzní modely s efektivním zpracováním videa a rozpoznáváním řeči za účelem vytvoření interaktivního uživatelského zážitku. Hlavní přínosy zahrnují klientsko-serverovou architekturu umožňující stylizaci videa v reálném čase, implementaci robustního systému pro videohovory využívajícího UDP streamování a úspěšnou integraci schopností převodu řeči na text. Systém byl důkladně vyhodnocen pomocí kvantitativních metrik i kvalitativní analýzy, což prokázalo jeho praktickou použitelnost pro reálné aplikace. Modulární architektura a komplexní zpracování chyb zajišťují stabilitu a udržovatelnost systému, zatímco efektivní správa zdrojů umožňuje plynulý provoz v náročných podmínkách. Projekt úspěšně demonstruje proveditelnost kombinace stylizace videa v reálném čase s hlasovým ovládáním a možnostmi videohovorů, což představuje významný pokrok v interaktivním zpracování videa.

This thesis presents Meet-In-Style, a novel system for real-time video stylization with voice control capabilities. The system combines state-of-the-art diffusion models with efficient video processing and speech recognition to create an interactive user experience. Key contributions include a client-server architecture enabling real-time video stylization, implementation of a robust video call system using UDP-based streaming, and successful integration of speech-to-text capabilities. The system was thoroughly evaluated through both quantitative metrics and qualitative analysis, demonstrating its practical viability for real-world applications. The modular architecture and comprehensive error handling ensure system stability and maintainability, while the efficient resource management enables smooth operation under demanding conditions. The project successfully demonstrates the feasibility of combining real-time video stylization with voice control and video call capabilities, representing a significant advancement in interactive video processing.