Rozpoznávání vozidel z audia

Abstract

V této práci jsme navrhli a implementovali modul pro rozpoznávání vozidel na základě zvuku, který přijímá zvukový signál nahraný na okraji silnice a poskytuje statistické údaje o projíždějících vozidlech. Navržená metoda je univerzální, kromě počtu projíždějících vozidel ji lze nakonfigurovat tak, aby ze zvuku odhadovala libovolnou událost, například směr pohybu a typy vozidel. Navrhovaný přístup je založen na použití konvoluční neuronové sítě s klasickou architektuou, jako je ResNet, a na řadě metod použitých k předzpracování zvukového signálu. Neuronovou síť jsme naučili s využitím nepřesných anotací získaných automaticky z komerčního modulu pro rozpoznávání vozidel na základě obrazu. V práci také navrhujeme novou metodu, která agreguje předpovědi z překrývajících se časových oken. Metoda pomáhá zpracovávat události, které se vyskytují na hranici časových oken pevné velikosti, jež jsou vstupem neuroné sítě. V úloze počítání vozidel je výkonnost navrženého modulu založeného na zvuku srovnatelná s výkonností modulu založeného na vidění, testovaného za dobrých světelných podmínek, kdy zvukový modul dosahuje průměrnou hodnotou RVCE 7% zatímco video modul 3%.

In this thesis, we have designed and implemented an audio-based vehicle recognition module that takes an audio signal and outputs statistics about passing vehicles. The proposed method is versatile, besides the number of passing vehicles, it can be configured to predict an arbitrary event from the audio, such as directions of movement and vehicle types. The proposed approach is based on a classical convolutional neural network architecture such as ResNet and a number of methods used to preprocess the audio signal. We learned the proposed neural network in a semi-supervised fashion using imprecise annotations obtained automatically from a commercial vision-based vehicle recognition module. We propose a novel method that aggregates predictions from overlapped time windows. The method helps to handle events that occur on the boundary of fixed-size time windows that are processed by the neural network. The performance of the proposed audio-based module in the vehicle counting task is comparable to that of the vision-based module tested under good light conditions with mean RVCE of 7% and 3%, respectively.