Vizuální predikce vlastností povrchu ve složitém off-road terénu

Abstract

Vizuální rozpoznávání prostředí je nezbytné pro autonomní navigaci vozidla v terénu. Tato práce kombinuje vizuální odhad geometre a porozumění scéně za účelem detekce překážek mimo rovinu. Neuronová síť je natrénována k rozlišování pevných překážek, kterým je nutné se vyhnout, aby nedošlo ke kolizi, od překážek, které leží mimo rovinu, ale jsou průjezdné, např. vysoká tráva. Práce se zaměřuje na vozidlo vybavené pouze kamerou. Geometrie se odhaduje buď pomocí binokulární stereo kamery, nebo pomocí jediné kamery a konvoluční neuronové sítě (CNN), která je natrénována k odhadu 3D geometrie. Další CNN je natrénována k provedení sémantické segmentace scény. Byly implementovány čtyři metody hlubokého učení a jedna metoda založená pouze na 3D geometrii. Nejlepších výsledků dosahovala metoda využívající kombinaci 3D geometrie získané z binokulární kamery se supervizovaným hlubokým učením, která dosáhla F1 skóre 98,2 pro binární klasifikaci, testovanou na našem datasetu lesních scén.

Visual recognition of the environment is essential for autonomous vehicle navigation through off-road terrain. This work relies on combining visual geometry estimation and scene understanding to detect off-the-plane obstacles. The network is trained to distinguish hard obstacles that should be avoided to prevent a collision from phenomena that appear off-the-plane but are soft and traversable, e.g., tall grass. In particular, the thesis focuses on the camera-only setup. The geometry is estimated either with the binocular stereo camera or with a single camera and convolutional neural network (CNN), which is trained to estimate the 3D geometry. Another CNN is trained to perform the semantic segmentation of the scene. We implemented four deep learning methods and one baseline method based on the 3D geometry only. The best-performing method was using the combination of the 3D geometry obtained from the binocular camera with supervised deep learning, and it reached an F1 score of 98.2 for pixel-wise binary classification, tested on our dataset of forest scenes.