Implementing and Applying Fast Moving Object Detection on Mobile Devices

Abstract

Tato práce se zabývá tzv. rychle se pohybujícími objekty (fast-moving objects, FMO), které se jeví rozmazané, protože během expozice urazí značnou vzdálenost. Počítačové vidění se touto problematikou zabývá teprve krátce, ačkoliv takovéto objekty často nalezneme například ve videích se sportovní tématikou. Vyvinuli jsme efektivní algoritmus na detekci FMO ve videích, který se zaměřuje na objekty ve tvaru koule viditelné po tři za sebou jdoucí snímky, a který svou kvalitou detekce překonal nejlepší doposud známé řešení. Algoritmus jsme implementovali přenositelně pomocí jazyka C++ a aplikovali jej na osobních počítačích i na mobilních telefonech. Výkon algoritmu jsme zlepšili na základě podrobné analýzy. Testovali jsme na několika zařízeních s operačním systémem Android a na všech jsme dosáhli detekce FMO v reálném čase. Dále jsme upravili zmíněný algoritmus tak, abychom mohli odhadnout další vlastnosti detekovaných FMO, jako je poloměr a rychlost. Zjistili jsme, že pokud je video dostatečně kvalitní, odhad poloměru je možný s uspokojivou přesností. Odhad rychlosti jsme uskutečnili v nahrávce tenisového zápasu. Za účelem lepšího porovnání s budoucími algoritmy pro detekci FMO jsme také přidali videa a anotace do datové sady, která je veřejně dostupná.

This thesis studies so-called fast-moving objects (FMOs), which appear blurry due to moving a significant distance during camera exposure time. This field of computer vision research is still new and largely unexplored, in spite of FMOs being commonplace in sports footage and elsewhere. We have developed an efficient algorithm for FMO detection in video sequences, which specializes on spherical objects visible for three consecutive frames, and which outperforms the best previously published approach in terms of detection quality. The algorithm has been implemented in portable C++, deployed on desktop and mobile, profiled, and optimized for speed. We demonstrate that real-time FMO detection with a live camera feed as input is feasible on a variety of popular Android devices. Furthermore, we have modified the algorithm to estimate properties of spherical FMOs, in particular their radius and velocity. We show that radius can be estimated reliably, given source footage of a sufficient quality. We experiment with velocity estimation using a recording of a tennis match. Finally, in order to make future comparisons of FMO detection algorithms more comprehensive, we contribute videos and ground truth into a publicly available data set.