Sledování objektů v systému kamer s použitím syntetických datasetů

Abstract

Multi-Target Multi-Camera Tracking (MTMCT) je systém, který přináší cenné informace o pohybu a chování lidí a dokáže spolehlivě re-identifikovat návštěvníky bez narušení jejich soukromí. Výstupy jsou následně využity pro zkvalitňování služeb a zajišťování veřejné bezpečnosti. Vývoj takovýchto systémů je nákladný kvůli vysokým nárokům na kvalitu a čistotu trénovacích dat. Za účelem jejich snížení jsme se rozhodli využít generovaných dat. Účel práce je primárně akademický, ale předpokládáme, že dosažené výsledky budou brzy nasazeny v praxi, a to do více než deseti komplexních budov po celé Evropě. Hlavním přínosem práce je využití víceúlohového tréninku na čtyřech námi vytvořených datových sadách, které velikostí přesahují 0.5M obrázků. Metodologie vede k lepší generalizaci modelu a pomocí postupného zvyšování náročnosti tréninku jsme se výrazně posunuli oproti předchozím verzím. Výsledky demonstrují užitečnost generovaných dat a navrhovaných metod, a to zejména v případě, kdy je reálných dat nedostatek.

Multi-Target Multi-Camera Tracking (MTMCT) can provide invaluable insights into human behavior and movement patterns. An effective tracking infrastructure can significantly influence service refinement, public safety, and resource management. Unfortunately, developing such intricate systems is costly due to the challenges of obtaining large datasets of sufficient quality. To mitigate this, we created and incorporated synthetic data into the training process. This project has both scientific and practical objectives. The scientific objectives include using synthetic datasets and orientation estimation to create a robust visual feature extractor. The practical goal is implementing a powerful MTMCT solution that utilizes available resources to achieve optimal performance. The results of this work will be applied in over ten large complex buildings across Europe. We have constructed four large datasets to address both objectives, each serving different purposes. We utilized multi-task curriculum learning to develop robust models to build and solve the assignment problem. The efficiency of the proposed methodology has been demonstrated in a simulated environment with convincing results. We have shown the benefit of synthetic data use, particularly for smaller datasets.