Vizuální prediktor lokalních map povrchu před vozidlem

Abstract

Tato diplomová práce se zabývá predikcí charakteristik povrchu vozovky konkrétně součinitele tření mezi pneumatikou a vozovkou před autonomním vozidlem za použití běžné kamery. Navazujeme na předchozí práce, které využívaly signály prokluzu kol jako slabou supervizi pro regresi tření, a rozvíjíme pipeline pro robustnější predikci třecího koeficientu povrchu. Dále zkoumáme možnost nahradit přímou regresi tření semantickou segmentací: každému typu povrchu (asfalt, štěrk, sníh atd.) je přiřazen stabilní průměrný součinitel tření. Využíváme tzv. foundation modely, zejména Segment Anything Model (SAM), který slouží k segmentaci každého snímku; navržené oblasti pak slučujeme či filtrujeme, abychom získali koherentní povrchy. Z každého povrchu ortorektifikujeme patch, jenž je následně předán do naší sítě Patch Predictor, volitelně doplněné o kontext celého snímku, pro přesnou klasifikaci. Rozsáhlé experimenty potvrzují, že (i) čistě velkoškálová self-supervize založená na prokluzu kol je citlivá na šum ze senzorů i prostředí a (ii) přechod k semantickým štítkům výrazně zvyšuje stabilitu a zároveň vyžaduje jen minimální manuální anotaci díky silným maskám poskytovaným SAM. Začlenění globálního kontextu do Patch Predictorů předstihuje předchozí čistě patch-based návrhy i na obtížných površích, například na mokrém asfaltu nebo ve světle zasněžených podmínkách. Docházíme k závěru, že propojení nadstavbových modelů pro segmentaci (foundation models) s patch-based sítěmi nabízí nadějnou cestu k rychlé a spolehlivé predikci stavu povrchu v autonomním řízení.

This thesis focuses on predicting road surface characteristicsspecifically tire-road friction coefficientin front of an autonomous vehicle using a standard camera. Building upon prior work that leveraged wheel slip signals as weak supervision for friction regression, we build a pipeline for more robust surface friction prediction. We then explore semantic segmentation in place of direct friction regression by reformulating the problem as a semantic segmentation task: each surface type (asphalt, gravel, snow, etc.) is assigned a stable mean friction coefficient. We utilize large foundation models, notably the Segment Anything Model (SAM), to over-segment each image and merge or filter proposed regions to isolate coherent surfaces. Orthorectified patches from each surface are fed into a custom Patch Predictor networkoptionally augmented with full-image contextto yield accurate classification. Extensive experiments confirm that (i) large-scale self-supervision from wheel slip alone is susceptible to sensor and environment noise, and (ii) pivoting to semantic labels to improve stability, with minimal human annotation, thanks to SAMs powerful mask proposals. By incorporating global context, our Patch Predictors surpass previous patch-only designs on challenging surfaces like wet asphalt or light snow. We conclude that combining foundation models for segmentation with patch-based networks offers a promising route toward real-time, robust surface estimation in autonomous driving.