Vyhodnocení přesnosti extrakce 3D pozice kojenců z RGB obrázků pomocí RGB-D kamer a systému sledování pohybu

Abstract

Analýza pohybu kojenců je důležitá při diagnostice motorických a kognitivních vývojových poruch, jako je například dětská mozková obrna. Automatizovaná extrakce pohybu kojenců z RGB videí by mohla usnadnit včasnou a vzdálenou diagnostiku těchto poruch před osobním posouzením vyškoleným odborníkem. K dispozici jsou techniky odhadu polohy člověka ze snímků a videí s výstupy ve 2D a dokonce i ve 3D. Pro kojence však existuje málo metod, Jejichž přesnost však není známa a chybí datasety s odpovídajícími ground truth údaji z motion capture systémů. Tato práce výše zmíněnou mezeru zaplňuje tím, že poskytuje záznamy kojenců, které byly pořízeny současně kamerami RGB a RGB-D a motion capture systémem. Jsou zkoumány různé metody umístění značek, synchronizace a zarovnání různých datových toků a srovnání s odhadem polohy pouze z RGB dat. Byly pořízeny záznamy dvou kojenců (ve věku 3 a 8 měsíců), které po dokončení analýzy, anonymizace dat a přidání dalších nahrávek je plánováno zpřístupnit jako veřejný dataset pro komunitu.

Infant motion analysis is important in diagnosing motor and cognitive developmental disorders such as cerebral palsy. Automated extraction of infant movement from only RGB videos could facilitate early and remote diagnostics of such disorders prior to an in-person assessment by a trained professional. Human pose estimation techniques from images and videos with outputs in 2D and even 3D are available. Fewer methods are available for infants. However, the accuracy of these methods is not known and datasets with corresponding ground truth data from motion capture systems are missing. This work bridges this gap by providing recordings of infants that were taken simultaneously with motion capture, RGB, and RGB-D cameras. Different methods of marker placement, synchronization, and alignment of different data streams, and comparison with pose estimation from RGB only are presented. Two infants (3 and 8 months old) were recorded. After completing the analysis, anonymizing the data, and adding more recordings, we plan to release this as a public dataset for the community.