Predikce vlastností povrchu z obrazu s využitím samoučení

Abstract

Tato práce se zaměřuje na vývoj technik pro predikci mapy povrchových vlastností před vozidlem. Tradiční řídicí systémy v automobilovém průmyslu se přizpůsobují podmínkám vozovky reaktivním způsobem, takže schopnost upravit jejich parametry na základě predikce povrchových vlastností může potenciálně zlepšit bezpečnost, komfort a náklady na údržbu moderních automobilů. Jsou použity dvě veličiny popisující vlastnosti povrchu: hrubost a tření (kluzkost). Dataset je získán automatickým způsobem, není potřeba manuální anotace. Při tréninku se získávají hodnoty veličin automaticky podle vlastností odvozených z reakcí vozidla (vertikální zrychlení, podélný skluz, točivý moment atd.). Při nasazení systému se používá k predikci vlastností povrchu pouze obraz. Tato práce navazuje na výsledky dosažené v naší předchozí práci (Čech a kol. 2021 a Vošahlík a kol. 2021). Předchozí modely byly omezeny na předpovídání jediné hodnoty vlastnosti povrchu pro celý obrázek. Jsou navrženy dva přístupy. První využívá k predikci mapy povrchových vlastností konvoluční neuronovou síť U-Net natrénovanou na polosyntetické datové sadě. Druhá metoda využívá vizualizace z hlubokých sítí prostřednictvím lokalizace založené na gradientu (Grad-CAM). Všechny testy byly provedeny na experimentální platformě. Oba modely byly ověřeny na ručně anotované testovací datové sadě a ukazují slibné výsledky.

This thesis develops techniques for predicting a map of local surface properties in front of a vehicle. Traditional automotive control systems adapt to road conditions reactively. Instead, we propose to adjust their parameters based on a surface property prediction, before the vehicle travels over the surface, which can potentially improve safety, comfort, and maintenance costs of modern cars. Two surface properties are used: roughness and friction. The dataset is obtained in a self-supervised fashion, meaning that there is no manual annotation. When training, the image labels are obtained automatically by properties derived from vehicle responses (vertical acceleration, slip ratio, torque etc.). When the system is deployed, only the images are used to predict the surface properties. This thesis builds on top of the results achieved in our previous work (Cech et al. 2021 and Vosahlik et al. 2021). Previous models were limited to predicting a single surface property for an entire image. We propose two approaches. The first uses U-Net convolutional neural network to output a pixel-wise property map trained on the semi-synthetic dataset. The second method uses visual explanations from deep networks via gradient-based localization (Grad-CAM). All experiments were done using the subscale vehicle platform. Both models were validated on a manually annotated test dataset, showing promising results.