Detekce a sledování cíle pomocí gimbalové kamery na palubě UAV

Abstract

V této práci bylo navrženo, implementováno a otestováno řešení problému sledování dronů pomocí RGB kamery umístěné na gimbalu připevněném k UAV v simulaci i experimentech v reálném světě. Navržený systém používá kombinaci modelů strojového učení pro vizuální detekci a sledování k odhadu 3D polohy sledovaného dronu. Modely jsou natrénovány a vyhodnoceny pomocí dvou velkých souborů dat pořízených za letu v různorodých prostředích. Z výsledků měření bylo zjištěno, že architektura neuronové sítě YOLO5 v kombinaci s algoritmem MOSSE nabízí optimální kompromis mezi rychlostí a přesností pro daný problém. K optimalizaci hyperparametrů zvolené architektury byla využita metoda genetického programování, čímž bylo dosaženo uspokojivé přesnosti ve výpočetně omezeném prostředí palubního počítače. U výsledných odhadů je odstraněna část šumu pomocí Kalmanova filtru a výstup je předán PID regulátorům určujícím rychlost potřebnou pro udržení konstantní vzdálenosti a relativní výšky letu dronů.In this thesis, a solution to the problem of drone tracking using a gimballed RGB camera mounted on a flying UAV is proposed, implemented and tested both in simulation and real-world experiments. The proposed system uses a combination of machine learning models for visual detection and tracking to create an online estimate of the target drone's 3D position. Two large drone datasets from various environments were used to train and evaluate the models. The YOLO5 neural network architecture and the MOSSE tracking algorithm were selected for their balance of speed and accuracy. Genetic programming was used to further optimize the hyperparameters of the chosen architecture achieving satisfactory online performance in a computationally constrained environment of the on-board computer. The resulting estimates from the detection and tracking pipeline are denoised using a Kalman filter and used as an input to PID controllers to maintain an approximately constant distance and a zero altitude difference between the drones.