Vizuální relativní lokalizace a stabilizace členů skupiny autonomních helikoptér

Abstract

Scénáře, ve kterých multirobotické letouny musí úzce spolupracovat ve sdílené operační oblasti, vyžadují vzájemnou relativní lokalizaci.Stávající realizace multirobotických systémů tento předpoklad často naplňují použitím explicitní globální lokalizace za využití externí infrastruktury.Takový přístup může být vhodný v řízených podmínkách při experimentálním ověřování teoretických algoritmů kooperativního chování, ale podobná řešení nejsou vhodná pro praktické nasazení multirobotických týmů bezpilotních letounů v libovolných prostředích, v nichž se nedá spolehnout na přítomnost nutné externí infrastruktury, nebo na možnost instalace takové infrastruktury operátorem.Hlavní výstup mé práce je systém relativní lokalizace založený na počítačovém vidění jménem UVDAR (Ultra-Violet Direction And Ranging), který využívá binárně kódované aktivní ultrafialové značky kombinované se specializovanými algoritmy zpracování obrazu, a který řeší omezení předchozích systémů palubní relativní lokalizace.Tento systém umožňuje nasazení multirobotických letounů v reálném světě bez závislosti na externí infrastruktuře.Vývoj tohoto systému odhalil nové výzvy vyvstávající z neideálních vlastností reálných systémů relativní lokalizace, které jsme vyřešili.Navíc jsme s výhodou využili žádoucí vlastnosti systému, které teoretická literatura nepředpověděla, na získání odhadu relativní orientace a na optický přenos dat.Nový systém byl použit pro přenos rojových a formačních algoritmů z teorie a simulace do experimentů v reálném světě nebo pro automatickou anotaci obrazových datasetů určených ke trénování neuronových sítí na detekci letounů.Kromě práce týkající se relativní loakalizace bezpilotních letounů prezentuji také výsledky mé úspěšné účasti na robotické soutěži Mohamed Bin Zayed International Robotics Challenge (MBZIRC) 2020, kde jsem vyvinul nástroje, které jsem následně používal ve zbytku své práce.Tyto nástroje se týkaly primárně stabilizace a míření bezpilotním letounem pomocí zpětné vazby z palubního počítačového vidění.

Scenarios where multiple autonomous aerial vehicles are required to closely cooperate in a shared operational space require mutual relative localization. In previous instances, the requirement of relative localization was often circumvented in controlled conditions by using explicit global localization obtained from external infrastructure. Such an approach may be suitable for constrained experimental conditions for testing of theoretical cooperative behaviors. However, this solution is not suitable for practical multirobot Unmanned Aerial Vehicle (UAV) deployment into arbitrary environments where such infrastructure is unavailable without direct access by the operator. The main outcome of my work is the Vision-based Relative Localization (VRL) system UltraViolet Direction And Ranging (UVDAR), that exploits active ultraviolet (UV) markers and binary blinking signalization, combined with specialized computer vision processing, such that it addresses the drawbacks of prior onboard relative localization systems. This system enabled performing real-world aerial multi-robot operations without reliance on external infrastructure. The development of such a system revealed new challenges stemming from the non-ideal properties of a real relative localization system that we addressed. Additionally, we were able to exploit beneficial properties of the system unforeseen by theoretical prior works, by enabling relative orientation estimation and optical data transmission. UVDAR was used in real-world swarm and formation flights, and it also allowed us to create and publish a practical annotated image dataset for detection of UAVs by Machine Learning (ML)-based computer vision. Besides the work derived from relative localization of UAVs, I am also presenting the outcomes of my successful participation in the Mohamed Bin Zayed International Robotics Challenge (MBZIRC) 2020 robotic competition, where I have developed tools used in the remainder of my work. These works primarily address the issue of stabilization and aiming with a UAV system with onboard computer vision in the loop.