Detekce přítomnosti zboží v ruce zákazníka

Abstract

Táto bakalárska práca sa zaoberá detekciou tovaru v ruke zákazníka na kamerovom zázname. Záznam, ktorý sa skladá z RGB snímky a hĺbkovej mapy pochádza zo zariadenia Kinect. Cieľom práce je navrhnúť a implementovať algoritmus, ktorý rozhodne o tom, či bol z regálu vybraný, prípadne či doň bol vložený tovar. V teoretickej časti práce sú zanalyzované algoritmy na získanie príznakov z obrázkov a základné techniky spracovania obrazu. Práca obsahuje aj analýzu vhodných algoritmov na klasifikáciu. Navrhnutý algoritmus využíva Gradient boosted trees klasifikátor, ktorý hodnotí snímky podľa 60 príznakov. Použitím algoritmu SIFT je možné zistiť, v akom smere sa ruka pohybuje. Na základe týchto dvoch informácii je vytvorená postupnosť, ktorá opisuje pohyb ruky. Z nej je získaných deväť príznakov, ktorými sa naučí ďalší klasifikačný model a tak rozhodne, či bol tovar vložený alebo vybraný. Tento postup dosiahol presnosť 71%. Algoritmus je implementovaný v jazyku C++ s využitím knižnice OpenCV.

This Bachelor Thesis deals with the detection of goods in the customer's hand displayed on the camera system. The record composed of the RGB frame and the depth map was produced by the Kinect device. The aim of this Thesis is to design, then to implement the algorithm that would be able to recognize whether the goods are taken out or put on the shelf. The theoretical part encompasses the analyzed algorithms for purposes of the attributes extracting and the basic techniques of the image processing. The Thesis covers the analysis of the proper and applicable algorithms for the classification, as well. Designed algorithm works with Gradient boosted trees classifier which classifies the frames according to 60 chosen attributes. By means of SIFT algorithm it is possible to find out in what direction the hand moves. Providing these two pieces of information, we managed to generate the sequences describing the hand's movement. Out of the sequence nine attributes were extracted which were used for classifier training. Onward, the classifier was able to decide whether the goods had been taken or put on the shelf. The accuracy of this approach succeeded in reaching 71%. The algorithm was implemented in the C++ language and employed the OpenCV library, as well.