Metody zpracování obrazu pro dlouhodobou T&R navigaci mobilních robotů

Abstract

Tato práce navazuje na výzkum dlouhodobých `teach-and-repeat' navigací, které jsou využívány u mobilních robotů s úkolem následování cesty. Tento druh navigací představuje alternativu ke SLAM (`Simateneously Mapping And Localization') systémům. BearNav, který je zástupcem `teach-and-repeat' navigací, se skládá ze dvou fází. První fáze spočívá v řízení robota podél cesty, kde kontrolní příkazy řízení a snímky pořízené kamerou jsou robotem nahrávány. V druhé fázi robot opakuje nahrané přikazy a koriguje odchylku od naučené cesty pomocí zarovnání snímků (`image alignment'). Tato navigace je citlivá na změny prostředí, které dělají navigaci méně robustní. Práce se proto soustředí na zlepšení robustnosti a stability procesu zarovnání snímků. V této práci jsou předvedeny dvě metody použité k zvýšení robustnosti tohoto procesu. Zaprvé použijeme techniky zpracování obrazu k výběru rysů snímků (`feature selection'), abychom zvýšili robustnost procesu zarovnání snímků. Zadruhé použijeme Siamské Neuronové Sítě k samotnému zarovnání snímků. Bylo prokázáno, že Neuronové sítě jsou odolné dlouhodobějším změnám prostředí. Proto se síť snaží rozeznat ty rysy, které jsou více robustní a stabilní dlouhodobě. Můžeme shrnout, že použitím Siamských Neuronových Sítí pro zarovnání snímků zvyšujeme stabilitu navigace.

The thesis follows the work on long-term teach-and-repeat navigation used for path following of mobile robots. Teach-and-repeat represents an alternative to SLAM (Simateneously Mapping And Localization) method. BearNav, being an instance of a teach-and-repeat system, includes two phases. The first (teaching) phase involves driving a robot along a path to take images and record control commands used to guide the robot along the path. In the second (repeating) phase, the robot repeats the control commands and corrects the deviation from the path by aligning images. This navigation is sensitive to appearance changes which consequently decreases the robustness of the navigation. Thus, we concentrate on improving the robustness and stability of the pixel-wise image alignment process. By making the image alignment more robust, we make the navigation more robust. There are two methods used to improve the robustness of this process. Firstly, we use low-key image processing techniques to select features that are more stable for the image alignment process. Secondly, we use a Siamese Neural Network to perform the image alignment directly. Neural Networks have been shown to be more robust to appearance changes that happen over time. Hence, the network aims to recognize image features that are more robust and stable. It can be concluded that using a Siamese Neural Network for image alignment increases the navigation's stability.