Implementace zpracování obrazu v systému UVDAR na FPGA

Abstract

Tato diplomová práce se zabývá návrhem implementace obrazových algoritmů, které využívá systém UVDAR (UltraViolet Direction And Ranging) vyvinutý pro vzájemnou relativní lokalizaci dron v rojích, na programovatelných hradlových polích (FPGA). Systém UVDAR je ve svém základu složen z ultrafialových (UV) LED diod produkujících signály v úzkém pásmu spektra, kamerového senzoru citlivého v UV spektru a obrazových algoritmů implementovaných v jazyce C++. Nejprve byly analyzovány původní softwarové implementace těchto algoritmů a byla vyhodnocena jejich výpočetní a paměťová náročnost, konkrétně u speciální variace algoritmu FAST (Features from Accelerated Segment Test) používané pro detekci aktivních jasových značek ve snímcích z kamery a u 4D Houghovy transformace používané pro nalezení lineární aproximace trajektorií detekovaných značek v obraze. Na základě výsledků analýzy byla navržena FPGA architektura pro implementaci variace FAST algoritmu, která produkovala shodné výstupy jako původní softwarová implementace. Následoval výběr vhodné vývojové desky s FPGA společně s návrhem hardwaru pro kompatibilní desku plošných spojů s CMOS kamerovým senzorem. Pro experimentální část práce byla vybrána vývojová deska Terasic DE10-Nano obsahující čip Cyclone V SoC (System-on-Chip). Poté byla implementována předložená FPGA architektura v jazyce VHDL (VHSIC Hardware Description Language). Ve VHDL byla implementována i dodatečná logika pro vizualizaci výstupních dat v reálném čase ve formě anotovaného videa skrze rozhraní HDMI. V závěru práce jsou diskutovány dosažené výsledky, možnosti implementace systému UVDAR do samostatného zařízení a autorovy náměty pro další vývoj.

The thesis focuses on the design of a Field Programmable Gate Array (FPGA) implementation of image processing algorithms used in the UltraViolet Direction And Ranging (UVDAR) system, developed for mutual relative localisation of Unmanned Aerial Vehicles (UAVs). In general terms, the UVDAR system consists of ultraviolet LED markers producing narrow-band signals, a UV-sensitive camera and image processing algorithms implemented in the C++ language. At first, the original software implementations of the algorithms were analysed in order to assess their computational complexity and memory allocation requirements. The main focus was on the specialised variation of the Features from Accelerated Segment Test (FAST) algorithm used for detection of active LED markers in camera images and on the 4D Hough Transform used for retrieval of linearly approximated image trajectories of the detected markers. Based on the analysis results, a FPGA architecture implementing the FAST-like algorithm was designed, producing identical outputs as the original C++ implementation. A selection of a suitable FPGA development board followed, together with a hardware design of a compatible circuit board with integrated CMOS sensor. The development platform Terasic DE10-Nano containing Cyclone V System-on-Chip (SoC) was selected for conducting real FPGA experiments. The VHSIC Hardware Description Language (VHDL) was used for implementation of the proposed FPGA architecture. Additional circuitry for visualisation of output data was designed using VHDL as well, allowing an output through HDMI interface in the form of an annotated video stream. Lastly, the current results, as well as an optional implementation of the UVDAR system into an embedded device are discussed, with further proposals for future development on the SoC.