Kolaborativní robot pro ovládání dotykových zařízení

Abstract

Mobilní telefony hrají významnou roli v našem každodenním životě. Přestože většina úkonů, které se dají na těchto zařízeních provést se dá automatizovat pomocí softwaru a emulace fyzických interakcí, konfiguraci nového zařízení pro tento software je stále potřeba dělat manuálně. V této práci představujeme kolaborativní robot pro nastavení a ovládání malých zařízení s dotykovými obrazovkami. Zařízení se skládá z robotického ramene a kamery, která sleduje jeho pracovní prostor. Vyvinuli jsme knihovnu funkcí, které umožňují kalibraci vnitřních i vnějších parametrů kamery, detekci dotykových zařízení a získání jejich pozice a orientace v pracovním prostoru robotu. Také jsme připravili sadu pohybových primitiv pro robotické rameno, které umožňují základní interakce s dotykovou obrazovkou jako je klik, dlouhý klik, dvojitý klik a tažení. V rámci práce jsme také úspěšně testovali možnost softwarové detekce kolizí robotu s překážkami, čímž se nám podařilo z robota nekolaborativního vytvořit robota kolaborativního, a tedy i bezpečnějšího pro své okolí.

Mobile phones and other small touch screen devices play a significant role in our everyday life. Although most of the tasks that can be performed on the touch screen device can be automated via software and emulation of the physical control, the configuration of the device to enable this software remains the sole operation that has to be done manually. In this work we present a collaborative robot for setting up and control of small touch screen devices. The robot consists of an off-the-shelf robotic arm and a camera that observes the arm's workspace. We have developed a library of functions that allows for camera calibration, touch screen device detection, and determining the device’s real world position and orientation in the workspace from the camera, as well as a set of motion primitives for the robotic arm to allow the basic touch screen interaction operations like click, long click, double click, and swipe. On top of that, we have investigated and successfully deployed software enabled collaborativity of the arm based solely on the position feedback. This allows a teach and repeat functionality of the configuration scenarios as well as collision detection of the arm.