Aktivní detekce obětí s RGB-D-T senzorem

Abstract

Diplomová práce se zabývá aktivní detekcí potenciálních lidských obětí na základě kamerových (RGB), hloubkových (D) a termovizních (T) dat, a to jejich klasifikací (segmentací) pomocí umělé neuronové sítě. Věnuje se učení hlubokých neuronových sítí pro segmentaci RGB-D-T snímků. Využívá se framework Caffe pro hluboké učení a práci s umělými neuronovými sítěmi. Výsledná segmentace vstupního RGB-D-T snímku je použita k detekci oběti a následně také k řízení pohledu termovizní kamery, která je umístěna na pohyblivé jednotce, a to k upřesnění segmentace v místech, kde nemůžeme rozhodnout a zároveň zde chybí informace o teplotě z důvodu menšího zorného pole termokamery. Pro tento účel byl přeučen model konvoluční neuronové RGB sítě a vytvořena nástavba pro hloubkovou a teplotní složku. Bylo sestaveno několik modelových architektur sítí, které byly vyhodnoceny. Model s nejlepšími výsledky byl vybrán k použití segmentace na robotovi se systémem ROS. K tomu je navržen a implementován algoritmus pro řízení pohledu termokamery k upřesnění konfidenční hodnoty segmentace. Na závěr byl proveden a vyhodnocen experiment, který demonstruje celkovou funkčnost systému.

The diploma thesis deals with active detection of the potential human victims based on camera (RGB), depth (D) and thermal (T) data. Detection uses this data for classification (segmentation) by the artificial neural network. The thesis dedicated to deep learning and working with artificial neural networks. Output of the RGB-D-T segmentation is used to victim detection and subsequently for segmentation clarification at indecisive locations assuming the missing temperature information due to the small field of thermal camera view. Clarification is done by view control of the thermal imaging camera which is placed on the movable unit. For this purpose was fine-tuned RGB model of convolutional neural network and designed extension for depth and thermal component. Several models were created and evaluated. The RGB-D-T model with the best results was chosen for segmentation on the robot running on ROS system. Then the camera view control algorithm was designed for clarification of segmentation confidence value. On a proof of concept was performed experiment with the robot.