Detekce objektů s otevřeným slovníkem pomocí multimodálních a generativních modelů
Open Vocabulary Object Detection with Multimodal and Generative Models
Typ dokumentu
diplomová prácemaster thesis
Autor
Nikita Sokovnin
Vedoucí práce
Pajdla Tomáš
Oponent práce
Zimmermann Karel
Studijní obor
Počítačové vidění a digitální obrazStudijní program
Otevřená informatikaInstituce přidělující hodnost
katedra kybernetikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Naše studie zkoumá strategie klasifikace otevřené množiny pomocí různých architektur, jako jsou Transformátory a CNN. Představujeme metodu Matrix Entropy pro klasifikaci otevřené množiny z více pohledů, která se ukazuje jako nadřazená a jednoduchá. Zjistili jsme, že agregace více pohledů na stejný objekt přináší výhody v klasifikaci. Adresujeme znalostní mezery pro neznámé třídy pomocí pseudo-annotace s využitím velkých jazykovo-obrazových modelů a generací dat s modely Stable Diffusion s využitím knihovny DataDreamer. Kombinace pseudo-anotovaných reálných dat a syntetických dat přináší optimální výsledky. Navíc navrhujeme postup, který umožňuje malému modelu nepřetržitě se učit pod dohledem větších základních modelů. Naše zjištění zdůrazňuje účinnost těchto přístupů při zpracování neznámých tříd a zlepšování výkonnosti klasifikace a detekce. Our study explores open-set classification strategies using various architectures like Transformers and CNNs. We introduce Matrix Entropy for multi-view open-set classification, demonstrating its superior performance and simplicity. Our research underscores the benefits of aggregating multiple views of the same object for classification accuracy. We bridge the knowledge gap for unknown classes through pseudo-annotation with large vision-language models and data generation using Stable Diffusion models, leveraging the DataDreamer library. By combining pseudo-annotated real data and synthetic data, we achieve optimal performance. Additionally, we propose a pipeline that enables a small model to continuously learn under the supervision of larger foundation models. Our findings underscore the effectiveness of these approaches in handling unknown classes and enhancing classification and detection performance.
Kolekce
- Diplomové práce - 13133 [495]