StableGen: blender plugin pro AI 3D texturování

Abstract

Tato práce představuje StableGen rozšíření pro Blender navržené tak, aby výrazně zefektivnilo pracovní postupy při 3D texturování a rozšířilo tvůrčí i produkční možnosti umělců. Umožňuje snadno a konzistentně vytvářet detailní textury napříč celými scénami díky integraci špičkových difuzních modelů přímo do prostředí Blenderu. Tyto modely jsou řízeny flexibilním backendem ComfyUI, který umožňuje využívat vlastní modely k dosažení specifických výsledků. StableGen usnadňuje náročné úkoly, jako je tvorba konceptů nebo prototypování herních modelů, a to díky strategii generování z více pohledů, která zajišťuje konzistenci výsledných textur. Difuzní modely jsou přesně naváděny pomocí ControlNetu, jenž zaručuje přesné přilnutí textur i ke složitým 3D povrchům. Funkce IPAdapter navíc umožňuje využití obrazových předloh při současné kontrole stylu a úrovně detailu. Díky plné integraci do prostředí Blenderu umožňuje StableGen okamžitou vizualizaci spolu s vestavěnými nástroji pro úpravy a zapékání textur, čímž výrazně zrychluje iterativní proces tvorby. StableGen tak představuje cenný nástroj pro 3D umělce, který přirozeně doplňuje zavedené produkční workflow a přináší výhody pokročilé umělé inteligence přímo do jejich každodenní praxe.

This thesis presents StableGen, a Blender plugin designed to significantly enhance 3D texturing workflows and expand creative and production capabilities for artists. It enables the efficient creation of detailed and consistent textures across entire scenes by embedding state-of-the-art diffusion models directly within Blender. These are managed via a flexible ComfyUI backend, which allows the use of a wide range of custom models for achieving tailored artistic outcomes. StableGen streamlines demanding tasks such as concept art, look development, and game asset prototyping. This is achieved through various multi-view generation strategies that effectively maintain the consistency of resulting textures. Diffusion models are guided by ControlNet, which ensures textures perfectly adhere to complex 3D surfaces, while IPAdapter, enabling the use of image references, serves as a powerful tool for controlling style and details. Thanks to its deep integration into Blender, the plugin offers immediate visualization. Combined with integrated tools for essential texture processing and baking, it substantially accelerates creative iteration. StableGen thus serves as a valuable addition to the 3D artist's toolkit, naturally complementing established production workflows by integrating advanced artificial intelligence.