Detekce objektů v obraze se známou geometrií scény

Abstract

V poslední době se podařilo značně zrychlit a zpřesnit detekci objektů. Rychlou a přesnou detekci vyžadují autonomní vozidla. Soudobé moderní metody však detekci s ohledem na geometrii scény nijak neomezují. V této práci se zabýváme postupy detekce objektů založenými na hlubokém učení, jako jsou Faster R-CNN a YOLO, a navrhujeme formální model povědomí o prostředí a geometrii jeho scény. Předpokládáme, že objekty mají známou velikost, nacházejí se na zemi a parametry kamery jsou taktéž známé. Na základě toho navrhujeme tři způsoby inkluze povědomí o prostředí do algoritmů. Za prvé, úpravu detektoru YOLOv3, aby se lišily rozměry očekávaných bounding boxů. Za druhé, kontrolu detekcí zjištěných detektorem a vylučování těch s neodpovídajícími rozměry. Za třetí, realizaci detekce pomocí modelu pro výpočet map intenzity, který využívá povědomí o prostředí. S prototypy experimentujeme při detekci kuželů pro samořiditelnou studentskou formuli. Pozorujeme malé zlepšení v určitých izolovaných případech. Shledáváme, že hluboké neuronové sítě se učí omezení implicitně z trénovacích dat a našim návrhům již nenechávají moc prostoru pro zlepšení.

Recently, there has been great progress in object detection accuracy and speed. In autonomous driving, fast and accurate predictions are crucial. Current state-of-the-art methods do not constrain the detection according to the scene geometry. In the thesis, we study approaches to object detection based on deep learning, such as Faster R-CNN and YOLO, and propose a formal model of prior knowledge about the environment and its scene geometry. We assume that the objects have known size, are on the ground, and the camera parameters are known. On the basis of that, we propose three ways of including the prior knowledge in the algorithms. First, we modify the YOLOv3 detector by varying the dimensions of its expected bounding boxes. Second, we process the detections provided by a detector and ignore those with impossible dimensions. Third, we develop a heatmap regression model for object detection that relies on the prior knowledge. We experiment with the prototypes in cone detection for an autonomous student formula. We observe a slight improvement in isolated cases. We conclude that deep neural networks learn the constraints implicitly from the training data and that our proposals do not have much space for improvement.