Zobrazit minimální záznam

Open Vocabulary Object Detection with Multimodal and Generative Models



dc.contributor.advisorPajdla Tomáš
dc.contributor.authorNikita Sokovnin
dc.date.accessioned2024-06-18T10:33:57Z
dc.date.available2024-06-18T10:33:57Z
dc.date.issued2024-06-10
dc.identifierKOS-1240440832905
dc.identifier.urihttp://hdl.handle.net/10467/114813
dc.description.abstractNaše studie zkoumá strategie klasifikace otevřené množiny pomocí různých architektur, jako jsou Transformátory a CNN. Představujeme metodu Matrix Entropy pro klasifikaci otevřené množiny z více pohledů, která se ukazuje jako nadřazená a jednoduchá. Zjistili jsme, že agregace více pohledů na stejný objekt přináší výhody v klasifikaci. Adresujeme znalostní mezery pro neznámé třídy pomocí pseudo-annotace s využitím velkých jazykovo-obrazových modelů a generací dat s modely Stable Diffusion s využitím knihovny DataDreamer. Kombinace pseudo-anotovaných reálných dat a syntetických dat přináší optimální výsledky. Navíc navrhujeme postup, který umožňuje malému modelu nepřetržitě se učit pod dohledem větších základních modelů. Naše zjištění zdůrazňuje účinnost těchto přístupů při zpracování neznámých tříd a zlepšování výkonnosti klasifikace a detekce.cze
dc.description.abstractOur study explores open-set classification strategies using various architectures like Transformers and CNNs. We introduce Matrix Entropy for multi-view open-set classification, demonstrating its superior performance and simplicity. Our research underscores the benefits of aggregating multiple views of the same object for classification accuracy. We bridge the knowledge gap for unknown classes through pseudo-annotation with large vision-language models and data generation using Stable Diffusion models, leveraging the DataDreamer library. By combining pseudo-annotated real data and synthetic data, we achieve optimal performance. Additionally, we propose a pipeline that enables a small model to continuously learn under the supervision of larger foundation models. Our findings underscore the effectiveness of these approaches in handling unknown classes and enhancing classification and detection performance.eng
dc.publisherČeské vysoké učení technické v Praze. Vypočetní a informační centrum.cze
dc.publisherCzech Technical University in Prague. Computing and Information Centre.eng
dc.rightsA university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmleng
dc.rightsVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.htmlcze
dc.subjectrozpoznávání ve světě bez omezenícze
dc.subjectdetekce objektůcze
dc.subjectklasifikace obrazůcze
dc.subjectgenerování obrázkůcze
dc.subjectklasifikace bez učenícze
dc.subjectpočítačové viděnícze
dc.subjectopen set recognitioneng
dc.subjectobject detectioneng
dc.subjectimage classificationeng
dc.subjectimage generationeng
dc.subjectzero-shot classificationeng
dc.subjectcomputer visioneng
dc.titleDetekce objektů s otevřeným slovníkem pomocí multimodálních a generativních modelůcze
dc.titleOpen Vocabulary Object Detection with Multimodal and Generative Modelseng
dc.typediplomová prácecze
dc.typemaster thesiseng
dc.contributor.refereeZimmermann Karel
theses.degree.disciplinePočítačové vidění a digitální obrazcze
theses.degree.grantorkatedra kybernetikycze
theses.degree.programmeOtevřená informatikacze


Soubory tohoto záznamu





Tento záznam se objevuje v následujících kolekcích

Zobrazit minimální záznam