Implementace chytrých algoritmů detekce součástek v open-source knihovně OpenPNP

Abstract

Počítačové vidění je důležitou součástí povrchové montáže plošných spojů, která zahrnuje i Pick and Place (P&P) operace, pro které je důležité mít spolehlivé počítačové vidění, které zvládne detekovat a zarovnat komponenty na správnou pozici, ve které jsou poté osazeny na desku plošného spoje. Na poli programů pro domácí osazování plošných spojů s open-source licencí je nejoblíbenějších programem OpenPNP. Jeho počítačové je implementováno jako sekvence OpenCV operací, která je aplikována na obrázek zachycující součástku. Toto řešení není spolehlivé a je pozadu s dnešními trendy detekce rotovaných objektů. Tato práce cílí na zlepšení procesu detekce součástek v programu OpenPNP pomocí implementace systému pro správu OpenCV sekvence operací a pomocí zavedení alternativní metody pro detekci, která by poskytla robustnější řešení vůči vnějším vlivům. Rešerše této práce byla soustředěna na dva aspekty; zkušenost s uživatelským prostředím pro detekci rotace OpenPNP programu a současné trendy v počítačovém vidění pro detekci objektů, který by mohly být použity pro P&P procesy. Na základě diskusí v rámci komunity uživatelů OpenPNP, jsem navrhla a implementovala řešení, které umožní uživatelům správu OpenCV operací, tím, že budou mít k dispozici znovu použitelné sekvence operací. V další části této práce jsem natrénovala čtyři detektory pro rotované objekty za použití vlastních dat. Nejlepších výsledků bylo docíleno za použití R3Det detektoru. Výsledky detektoru jsem porovnala s výsledky ze současného řešení OpenPNP a dokázala jsem, že za použití strojového učení je možné dosáhnout řešení, které může sloužit jako alternativa pro současné OpenCV řešení. Toto řešení je navíc robustnější vůči vnějším vlivům a dokáže stabilně fungovat v reálném prostředí bez nutnosti časté uživatelské interakce.

Computer vision makes an important part in Surface Mount Technology processes including Pick and Place (P&P) operations. For P&P operation it is crucial to introduce strong computer vision solution to detect and align components to correct position before they are placed on the board. In the field of open-source software for DYI P&P machines the most popular tool is OpenPNP. Its computer vision takes form of a pipeline of OpenCV operations applied on the captured image of the component. This solution is not reliable and behind the latest trends of object detection. This work aims to improve the part detection process in OpenPNP tool by implementing better pipelines management system and introducing an alternative computer vision method that would be more robust to outer conditions. The prior research focused on two main aspects; user experience with OpenPNP object offset detection, and current trends in object detection that could be used for P&P detection purposes. Based on the OpenPNP community experience and discussions I designed and implemented a new solution that will allow users to manage OpenCV pipelines by making them reusable. In other part of the work, I trained four detectors for rotated objects and measure their performance upon custom dataset captured by P&P machine. The best detection results were achieved using R3Det detector. I compared the detector results with current OpenCV solution and proved that solution using machine learning can be more robust alternative able to cope with real-time scenarios without the need of regular user input.