Inteligentní řízení expozice kamery pro nasazení na robotech

Abstract

V autonomní robotice patří zpracování obrazu k nejdůležitějším disciplínám a je proto důležité zajistit vstupní data v dostatečné kvalitě k jejich správnému vykonání. Kvalita obrazu jako taková je primárně ovlivněna správným výběrem zesílení a doby expozice, které jsou předány kameře. Jestliže se ale prostředí dynamicky mění, je nutné zesílení a dobu expozice kontinuálně upravovat. Tyto úpravy jsou zajišťovány algoritmy Automatického Řízení Expozice (AŘE) a Automatického Řízení Zesílení (AŘZ). Výrobci kamer však často používají algoritmy AŘE a AŘZ, které nejsou dostatečně robustní, což může vést k přeexponování nebo podexponování obrazu a selhání na něm závislých disciplín, jako například detekce či lokalizace. Tato práce se zabývá základním rozborem řízení kamery, následně představuje a implementuje některé aktuální nejpokročilejší metody AŘE spolu s vlastní metodou řízení AŘE, která bere v potaz zpětnou vazbu z detekční úlohy. Implementované algoritmy jsou prvně experimentálně otestovány pro jejich schopnost řízení expozice a pomocí metrik je vyhodnocena kvalita obrazu řízených kamer a porovnána s vestavěným AŘE kamery. Dle výsledků jsou pak vybrané algoritmy nasazeny na bezpilotní letecký prostředek vykonávající detekční úlohu. Data z tohoto experimentu jsou posléze empiricky vyhodnocena a je ukázáno, že přidání zpětné vazby z detekční úlohy do řízení expozice kamery vede ke zlepšení detekce.

In autonomous robotics, the properties of an onboard camera are crucial for the successful execution of numerous robotic tasks. The most important property is the camera’s image quality, which directly affects performance of the tasks relying on it. One of the primary factors influencing said quality is the selection of an appropriate exposure time of the camera. In dynamic conditions, to ensure optimal image quality through accurate exposure, cameras utilize Automatic Gain Control (AGC) and Automatic Exposure Control (AEC) to determine the ideal exposure time. Camera manufacturers, however, frequently use simplistic AGC and AEC techniques, which can lead to a reduction in image quality and the incorrect functioning or failure of the running onboard task, by not adjusting the cameras’ exposure and gain correctly. This thesis discusses the topic of camera control, explores current State-Of-TheArt (SOTA) AEC strategies, and suggests a simple AEC method with feedback from an onboard object detector. Several strategies are implemented and their exposure control ability is evaluated. Based on these preliminary results, several algorithms are then selected and deployed on board a Micro Aerial Vehicle (MAV) performing a detection task.