Detekce a relativní lokalizace pro bezpilotní letouny

Abstract

Tato dizertační práce se zaobírá palubním strojovým vnímáním malých (tj. přenos-ných) bezpilotních letounů v kontextu multirobotických systémů. Malé bezpilotní letouny (angl. UAVs, Unmanned Aerial Vehicles) jsou typicky levnější, bezpečnější, snazší na manipulaci a mohou být nasazeny i v uzavřených prostorech, ale mají omezený výkon, velikost a váhu, což limituje senzory a algoritmy, které lze na palubě takových letounů použít. Tyto podmínky představují zajímavou příležitost pro vývoj nových metod strojového vnímání, které efektivně využijí omezené palubní senzory a výpočetní prostředky. Nasazení více takových agentů najednou pak může kompenzovat jejich omezené možnosti oproti větším a dražším platformám. Na druhou stranu, rostoucí dostupnost a stupeň autonomie bezpilotních letounů také představují novou bezpečnostní hrozbu, neboť soudobé prostředky pro ochranu před UAV na takové systémy nejsou připraveny. Jednou ze slibných možností, jak této hrozbě čelit, jsou specializované odchytové bezpilotní letouny, které se v poslední době těší zvýšenému zájmu vědecké komunity. Během našeho výzkumu v oblasti autonomních leteckých odchytových systémů (angl. AAIS, Autonomous Aerial Interception System) jsme narazili na problém spolehlivé, rychlé a přesné lokalizace chytaného cíle pomocí palubních senzorů, pro který neexistuje vhodné řešení, a který jsme identifikovali jako klíčový pro realizaci takového systému. Hlavní část této dizertace se zabývá právě detekcí a lokalizací nespolupracujících letounů za účelem jejich autonomního odchytu. Nejprve je popsán náš počáteční výzkum v této oblasti, který vedl k vývoji prvního prototypu autonomního odchytového letounu. Dále je představeno naše řešení první úlohy mezinárodní robotické soutěže \acf{MBZIRC} 2020, která emulovala problém autonomního odchytu, díky kterému se náš tým umístil na prvním místě v hlavní části soutěže. Detekční metody použité v rámci našeho řešení inspirovaly návrh nového detektoru využívajícího mapování obsazenosti prostoru k detekci létajících objektů. Tento nový detektor poskytuje lepší přesnost a vyšší robustnost ve srovnání s relevantními detekčními metodami. Díky tomu je nasazen v rámci komerčního systému pro autonomní odchyt letounů Eagle.One, a je také používán jako zdroj relativní lokalizace v rámci našeho dalšího výzkumu kooperativních multirobotických systémů. V poslední části dizertace jsou popsány postupy a metody, pomocí kterých jsme demonstrovali odchyt rychle letícího a manévrujícího UAV, což je dle našeho nejlepšího vědomí první publikovaný výsledek svého druhu.

The general research topic of this thesis is machine perception on board micro-scale (i.e. man-portable) Unmanned Aerial Vehicles (UAVs) in the context of aerial multi-robot systems. In comparison to larger-scale aerial vehicles, micro UAVs are typically cheaper, safer, easier to handle, and can navigate even confined interior environments, but suffer Size, Weight and Power (SWaP) constraints, which limit the subset of sensors and algorithms that are viable for deployment on such robots. These conditions present interesting research opportunities in developing new machine perception methods that efficiently utilize the available sensory and computational resources, and in deploying multiple cooperating SWaP-constrained but cheap agents to increase effectiveness of the multi-robot team as a whole. However, the increase in availability and autonomy of UAVs also presents new challenges with respect to aerial safety, because current systems for protection against UAVs are not designed to handle such threats. To answer this challenge, aerial interception by a specialized interceptor UAV is a promising option, which has gained significant research interest in the robotic community. During our research of Autonomous Aerial Interception Systems (AAISs), we have identified the reliable detection and fast, accurate localization of the target using onboard sensors and limited computational capabilities of the interceptor to be a crucial element without a suitable state-of-the-art solution. A major part of this thesis is dedicated to marker-less detection and localization of non-cooperating UAVs with the aim of enabling such aerial interception. Firstly, we describe our initial research in this area that was used in the first interceptor UAV prototype. Next, we present our solution to Challenge 1 of the Mohamed Bin Zayed International Robotics Challenge (MBZIRC) 2020, which was designed to emulate the interception task. Inspired by the success of our solution in the competition, which helped us achieve first place in the Grand Challenge, a new mapping-based system for spatial detection and localization of flying objects was developed that offers better accuracy and higher robustness in comparison to the state-of-the-art approaches. This detector is employed within the Eagle.One commercial AAIS, and it is also being used to facilitate multi-robotic cooperation as part of our other research. Finally, a complete system, that has demonstrated the capability to intercept fast-flying and maneuvering UAVs, is described, which, to our best knowledge, is the first published result of this kind.