Vizuální detekce dopravních kuželů pro autonomní formuli

Abstract

Tato bakalářská práce prezentuje kamerový systém pro autonomní formuli, která se účastní univerzitní soutěže Formula Student Driverless. V této soutěži, plně autonomně řízené formule jezdí po závodním okruhu vyznačeném pomocí dopravních kuželů. Cílém kamerového systému formule je získat 3D pozice dopravních kuželů viditelných na obrazu z kamery a tím vytvořit lokální mapu oblasti před formulí. Získaná mapa okolí formule je následně použita k plánování trajektorie jízdy autonomním systémem formule. Představený kamerový systém využívá algoritmus pro detekci objektů YOLOv3, který je založen konvolučních neuronových sítích, na detekci dopravních kuželů v RGB obrazu. Detektor kuželů dosahuje 85.3 mAP pří 259 snímcích za sekundu. Detekce kuželů v obraze jsou následně projektovány do souřadného systému formule pomocí předem spočítaného projektivního mapování mezi souřadným systém obrazu a souřadným systémem formule. Představený systém dosahuje průměrné lokalizační chyby 0.247 metrů pro dopravní kužely vzdálené až 10 metrů. Tata práce dále představuje algoritmus pro automatickou kalibraci kamery, pomocí estimace projektivního mapování mezi obrazem z kamery a rovinou tratě. Toto je dosaženo pomocí robustního hledání korespondujících detekcí dopravních kuželů v obrazu a ve scéně.

This bachelor thesis presents a camera based vision system for an autonomous formula participating in the Formula Student Driverless competition. In the competition, the car autonomously drives several laps on a racing track marked by traffic cones. The objective of the visual perception system is to obtain 3D positions of traffic cones, which are visible in the camera image, creating a local map of the scene. The local map of the scene is subsequently used for planning the car's trajectory by its autonomous system. The presented vision system uses a neural network based object detection model YOLOv3 to detect traffic cones in an RGB image, achieving 85.3 mAP at 259 FPS. The traffic cone detections as bounding boxes are converted to the cone base centers, which are subsequently projected by a homography into the car's coordinate system. The proposed perception system achieves localization error of 0.247 meters for traffic cones up at 10 meter distance from the car. The thesis also proposes a method for automatically estimating the homography mapping between the image and the ground plane based on the current scene. This is done by robustly finding the correspondences between image and lidar-based detections of traffic cones.