Vizuální navigace mobilního robotu s využitím lokálních příznaků a hlubokých sítí

Abstract

Jedním ze současných cílů mobilní robotiky je dosažení dlouhodobé autonomie, tedy schopnosti systému po dlouhou dobu autonomně operovat v proměnlivých prostředích. Tyto změny jsou obvykle způsobovány dynamickými objekty ve scéně nebo proměnlivými faktory, jako jsou denní doba, aktuální počasí nebo roční období. Autonomní systémy se mohou na tyto změny adaptovat nebo využívat přístupů, které jsou vůči nim odolné. Lokální vizuální příznaky získávané metodami hlubokého učení jsou jednou z technik vykazujících vysokou míru odolnosti vůči různým změnám prostředí. Lokální příznaky jsou obecně význačné body v obraze, které slouží zejména pro hledání korespondencí mezi snímky. Tato práce se zaměřuje na vývoj nových metod a přístupů pro dlouhodobou navigaci mobilních robotů s využitím lokálních příznaků získávaných metodami hlubokého učení. Konkrétními řešenými úlohami jsou vizuální rozpoznávání místa a navigace typu Teach-and-Repeat, při které robot sleduje předem naučenou trasu. V první části práce je studována možnost využití systémů pro rozpoznávání místa, které pracují s příznaky získávanými metodami hlubokého učení, při navigaci typu Teach-and-Repeat. Toto využití bylo ověřeno na dvou nových navigačních systémech typu Teach-and-Repeat. Oba systémy byly důkladně otestovány při experimentech s reálnými roboty a přímo porovnány s dalšími standardními systémy. Nově představené systémy vynikaly svou schopností pracovat v obtížných světelných podmínkách a v prostředích obsahujících mnoho jednolitých ploch, což jsou důležité vlastnosti pro dlouhodobou autonomii. Druhá část práce se zaměřuje pouze na vizuální rozpoznávání místa, konkrétně na techniky pro přeřazení nejlepších nalezených kandidátů s využitím standardních lokálních příznaků. Tři nové bezmodelové metody byly navrženy a implementovány do nového systému pro vizuální rozpoznávání místa. Tento systém byl otestován na několika datasetech, které obsahují výrazné změny vzhledu rozpoznávaných míst, a přímo porovnán s nejlepšími současnými metodami. Nový systém dosáhl nejlepších celkových výsledků ze všech testovaných metod, což mimo jiné potvrzuje, že bezmodelové metody pro rozpoznávání místa stále patří mezi vhodné a validní přístupy. Všechny výsledky představené v této práci, které zahrnují několik nových metod a přístupů pro navigaci typu Teach-and-Repeat a vizuální rozpoznávání místa a jejich experimentální ověření, byly publikovány ve čtyřech souvisejících vědeckých článcích.One of the current goals in mobile robotics is achieving long-term autonomy, which is the capability to operate autonomously for extended periods in changing environments. These changes are typically caused by dynamic objects or varying conditions, such as daytime, weather, or seasons. Autonomous systems can adapt to these changes or use approaches that are resilient to them. Deep learned local visual features are a technique evincing high resilience to various appearance changes. In general, local features are distinguished regions in images, serving to find correspondences between images. This thesis focuses on the development of new methods and approaches for long-term mobile robot navigation based on deep learned local features. Specifically, the solved tasks are visual place recognition and Teach-and-Repeat navigation. In the first part of the thesis, the possibility of employment of robust visual place recognition using deep-learned features in Teach-and-Repeat navigation is studied and verified in two new Teach-and-Repeat navigation systems. Both systems were extensively evaluated in real-world experiments and directly compared with other standard solutions. The introduced systems excelled in the capability to operate under challenging lighting conditions and in environments with many monolithic surfaces, both belonging among crucial factors for long-term autonomy. The second part of the thesis focuses solely on visual place recognition, particularly the re-ranking of best-matching candidates using standard local features. Three new model-free methods were developed and employed in a new visual place recognition system. This system was tested on several datasets, featuring challenging appearance changes, and directly compared to state-of-the-art methods. The new system achieved the best overall results among all tested systems, which affirms that model-free approaches are valid and worthwhile. All results presented in this thesis, including the new methods and approaches to Teach-and-Repeat navigation and visual place recognition and their experimental evaluations, were published in four related scientific articles.