Detekce objektů s otevřeným slovníkem pomocí multimodálních a generativních modelů

Abstract

Naše studie zkoumá strategie klasifikace otevřené množiny pomocí různých architektur, jako jsou Transformátory a CNN. Představujeme metodu Matrix Entropy pro klasifikaci otevřené množiny z více pohledů, která se ukazuje jako nadřazená a jednoduchá. Zjistili jsme, že agregace více pohledů na stejný objekt přináší výhody v klasifikaci. Adresujeme znalostní mezery pro neznámé třídy pomocí pseudo-annotace s využitím velkých jazykovo-obrazových modelů a generací dat s modely Stable Diffusion s využitím knihovny DataDreamer. Kombinace pseudo-anotovaných reálných dat a syntetických dat přináší optimální výsledky. Navíc navrhujeme postup, který umožňuje malému modelu nepřetržitě se učit pod dohledem větších základních modelů. Naše zjištění zdůrazňuje účinnost těchto přístupů při zpracování neznámých tříd a zlepšování výkonnosti klasifikace a detekce.

Our study explores open-set classification strategies using various architectures like Transformers and CNNs. We introduce Matrix Entropy for multi-view open-set classification, demonstrating its superior performance and simplicity. Our research underscores the benefits of aggregating multiple views of the same object for classification accuracy. We bridge the knowledge gap for unknown classes through pseudo-annotation with large vision-language models and data generation using Stable Diffusion models, leveraging the DataDreamer library. By combining pseudo-annotated real data and synthetic data, we achieve optimal performance. Additionally, we propose a pipeline that enables a small model to continuously learn under the supervision of larger foundation models. Our findings underscore the effectiveness of these approaches in handling unknown classes and enhancing classification and detection performance.