Detekce objektů s otevřeným slovníkem pomocí multimodálních a generativních modelů
Open Vocabulary Object Detection with Multimodal and Generative Models
dc.contributor.advisor | Pajdla Tomáš | |
dc.contributor.author | Nikita Sokovnin | |
dc.date.accessioned | 2024-06-18T10:33:57Z | |
dc.date.available | 2024-06-18T10:33:57Z | |
dc.date.issued | 2024-06-10 | |
dc.identifier | KOS-1240440832905 | |
dc.identifier.uri | http://hdl.handle.net/10467/114813 | |
dc.description.abstract | Naše studie zkoumá strategie klasifikace otevřené množiny pomocí různých architektur, jako jsou Transformátory a CNN. Představujeme metodu Matrix Entropy pro klasifikaci otevřené množiny z více pohledů, která se ukazuje jako nadřazená a jednoduchá. Zjistili jsme, že agregace více pohledů na stejný objekt přináší výhody v klasifikaci. Adresujeme znalostní mezery pro neznámé třídy pomocí pseudo-annotace s využitím velkých jazykovo-obrazových modelů a generací dat s modely Stable Diffusion s využitím knihovny DataDreamer. Kombinace pseudo-anotovaných reálných dat a syntetických dat přináší optimální výsledky. Navíc navrhujeme postup, který umožňuje malému modelu nepřetržitě se učit pod dohledem větších základních modelů. Naše zjištění zdůrazňuje účinnost těchto přístupů při zpracování neznámých tříd a zlepšování výkonnosti klasifikace a detekce. | cze |
dc.description.abstract | Our study explores open-set classification strategies using various architectures like Transformers and CNNs. We introduce Matrix Entropy for multi-view open-set classification, demonstrating its superior performance and simplicity. Our research underscores the benefits of aggregating multiple views of the same object for classification accuracy. We bridge the knowledge gap for unknown classes through pseudo-annotation with large vision-language models and data generation using Stable Diffusion models, leveraging the DataDreamer library. By combining pseudo-annotated real data and synthetic data, we achieve optimal performance. Additionally, we propose a pipeline that enables a small model to continuously learn under the supervision of larger foundation models. Our findings underscore the effectiveness of these approaches in handling unknown classes and enhancing classification and detection performance. | eng |
dc.publisher | České vysoké učení technické v Praze. Vypočetní a informační centrum. | cze |
dc.publisher | Czech Technical University in Prague. Computing and Information Centre. | eng |
dc.rights | A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html | eng |
dc.rights | Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html | cze |
dc.subject | rozpoznávání ve světě bez omezení | cze |
dc.subject | detekce objektů | cze |
dc.subject | klasifikace obrazů | cze |
dc.subject | generování obrázků | cze |
dc.subject | klasifikace bez učení | cze |
dc.subject | počítačové vidění | cze |
dc.subject | open set recognition | eng |
dc.subject | object detection | eng |
dc.subject | image classification | eng |
dc.subject | image generation | eng |
dc.subject | zero-shot classification | eng |
dc.subject | computer vision | eng |
dc.title | Detekce objektů s otevřeným slovníkem pomocí multimodálních a generativních modelů | cze |
dc.title | Open Vocabulary Object Detection with Multimodal and Generative Models | eng |
dc.type | diplomová práce | cze |
dc.type | master thesis | eng |
dc.contributor.referee | Zimmermann Karel | |
theses.degree.discipline | Počítačové vidění a digitální obraz | cze |
theses.degree.grantor | katedra kybernetiky | cze |
theses.degree.programme | Otevřená informatika | cze |
Soubory tohoto záznamu
Tento záznam se objevuje v následujících kolekcích
-
Diplomové práce - 13133 [495]