Rekonstrukce 3D scény z monokulární kamery pro autonomní bezpilotní helikoptéry

Abstract

Jedním z nedávno vzniklých odvětví vědy je vývoj autonomních bezpilotních prostředků (UAVs), které jsou schopny vykonávat úkoly v různých prostředích bez nutnosti lidského zásahu. Mezi části této problematiky patří rekonstrukce 3D scény neznámého prostředí, aby se v něm UAV dokázala lokalizovat a bezpečně pohybovat. Jeden ze způsobů, jak takový 3D model získat, je pomocí snímků z monokulární kamery připevněné na UAV a údajů o pohybu ze senzorů inerciální měřicí jednotky (IMU). Výhodou této kombinace je dostupnost a nízká cena v porovnání s ostatními sestavami jako například s LIDARem. Díky výslednému 3D modelu je pak UAV schopna sama naplánovat bezpečnou trajektorii vyhýbající se všem překážkám a aplikovat ji v reálném prostředí. Tato práce se zabývá dvěma open source algoritmy, FLaME a Kimera, které zpracovávají informace ze snímků pořízených monokulární kamerou a pomocí algoritmu structure from motion (SfM) vytváří 3D model neznámého prostředí. Algoritmy byly nejdříve otestovány na veřejně dostupných EuRoC datasetech a následně byla ověřena jejich funkčnost v simulátoru používaného a vyvíjeného skupinou multi-robot systems (MRS) na katedře kybernetiky ČVUT. Nakonec byly provedeny i experimenty v reálném prostředí pro ověření reálného použití.

One of the recently established fields of science is the development of unmanned aerial vehicles (UAVs), which are able to perform tasks in various environments without the need for human assistance. One key component to solve this task is the reconstruction of a 3D scene of an unknown environment, where the UAV needs to localize and safely navigate itself. One way of creating this 3D model is based on frames from a monocular camera attached to the UAV and the data from sensors of the inertial measuring unit (IMU). The advantage of this combination is availability and a low price compared to other setups for example with light detection and rangings (LIDARs). Thanks to the reconstructed 3D model, the UAV is then able to follow a safe trajectory through a real environment. This work deals with two open-source algorithms, FLaME and Kimera, which process information from images captured by a monocular camera and use structure from motion (SfM) algorithm to reconstruct a 3D model of an unknown environment. The algorithms were evaluated and compared on publicly available EuRoC datasets and subsequently, their functionality was verified in a simulator that is used and developed by the multi-robot systems (MRS) group at the Department of Cybernetics, Czech Technical University (CTU). Finally, experiments in a real environment were conducted to evaluate algorithms for practical use.