Rozpoznávání tance z videa

Abstract

Předkládáme metodu rozpoznávání společenských tanců z videa. Metoda je založena na využití nástroje OpenPose, který odhaduje postoj snímaných tanečníků v jednotlivých snímcích videa. Následně klasifikujeme posloupnosti odhadnutých postojů za pomoci grafové konvoluční neuronové sítě MS-G3D. Za účelem vývoje této metody jsme sestavili tři vhodné sady videí, které nabízíme veřejně k dispozici. Na sadě videí, zobrazujících jasně jeden taneční pár a nenarušených přitomností jiných osob, dosahuje navrhovaná metoda přesnosti klasifikace 72.2 % (Top-1). Přesnost klasifikace se zvyšuje na 83.3 % (Top-1) pokud metodu spojíme s existující metodou klasifikující tanec na základě audia (sama o sobě dosahuje tato audio-klasifikace na zmiňované datové sadě přesnosti 66.7 % (Top-1)).

We propose a method for recognition of ballroom dance genres from video. The method is based on processing of videos by a human pose estimation framework OpenPose and a subsequent classification of the sequences of the estimated poses using a Graph Convolutional Neural Network called MS-G3D. For the purposes of the method development we collected three suitable video datasets which we make publicly available. On a set of videos containing a clearly visible dance couple, undisturbed by presence of other people, the method achieves Top-1 accuracy 72.2 %. The classification accuracy improves to 83.3 % when the method is combined with an existing audio-based dance classifier (which on its own reaches an accuracy of 66.7 % on the dataset).