Učení segmentace z několika datasetů s odlišnými množinami labelů

Abstract

Diplomová práce se zabývá úlohou segmentace instancí objektů, jejíž cílem je naučit se v obrázku označit pixely oblasti každé instance objektu z definovaných tříd. Moderní konvoluční neuronové sítě vyžadují velké množství anotovaných trénovacích dat. Anotace segmentačních masek je nákladná. Práce se zaměřuje na trénování segmentačních sítí z několika datových sad s různými množinami označených tříd, a věnuje se problému chybějících anotací: instance z třídy anotované pouze v některé datové sadě, může být v jiné dataové sadě, kde anotována není, považována za pozadí. Hlavním přínosem diplomové práce je návrh dvou metod pro rozeznávání neoznačených instancí objektů od pozadí. První metoda je založena na podobnosti příznaků detekovaných oblastí zájmu. Druhá metoda vytvoří pro každou množinu označených tříd vlastní klasifikační hlavu, a neoznačené instance vyhledává pomocí všech hlav. Obě metody byly implementovány jako rozšíření Mask R-CNN a testovány na datové sadě MS COCO rozdělené dvěma způsoby: v prvním případě byly obrázky rozděleny do tří datových sad s částečným překryvem anotovaných tříd, v druhém případě do tří datových sad s disjunktními množinami anotovaných tříd. V prvním případě s překryvem tříd by naivní řešení znamenalo zhoršení o 5% mAP oproti plné anotaci. Navržené metody KNN a epsilon-MHC zlepšují učení s chybějícími anotacemi o 1.75% mAP a 0.72% mAP, což posouvá výsledek o 35% a 14% směrem k výsledkům s plnou anotací. V druhém případě s disjunktními množinami anotovaných tříd dosahovaly navrhované metody stejných výsledků jako naivní řešení. Analýza jednotlivých chyb neodhalila významné rozdíly v jejich druhu či ve výskytu chyb v jednotlivých třídách.

The thesis deals with the task of object instance segmentation, which aims to learn a per-pixel mask of every object instance of defined classes within an image. Stateof-the-art convolutional neural networks require large quantities of annotated training data. Segmentation masks are costly to annotate.The work focuses on training instance segmentation from multiple datasets with different label sets, and addresses the problem of missing annotations: instances of a class, which are labeled only in some datasets, may be considered the background in a dataset where the class is not labeled. As the main contribution of the thesis, two semi-supervised methods to distinguish between unlabeled instances and background are proposed. One is based on feature similarity of object proposals, second trains a separate classification head for each dataset and uses all heads to discover unlabeled instances. Both methods were implemented as an extension of Mask R-CNN and tested on two splits of the MS COCO dataset: the first divides images into three datasets with overlapping label sets, the second divides images into three datasets with disjoint label sets. On the first split with overlapping labels, the baseline method performed 5% worse in terms of mAP compared to a fully supervised setting. The proposed methods KNN and epsilon-MHC improved mAP in the semi-supervised scenario by 1.75% and 0.72% of mAP respectively, which means 35% and 14% increase towards the bound given by full annotation. Interestingly, on the second set with disjoint labels, the proposed methods performed the same as baseline. Analysis of individual errors cases did not show noticeable changes in categorical errors or in the type of errors.