Monitoring únavy a pozice řidiče

Abstract

Diplomová práce se zabývá vývojem systému pro monitorování únavy a rozptýlení řidičů tramvají s cílem zvýšit bezpečnost městské hromadné dopravy. Zaměřuje se na automatickou detekci příznaků únavy na základě obličejových rysů a rozpoznávání používání mobilního telefonu během jízdy. Využity byly techniky strojového učení a počítačového vidění, konkrétně knihovna MediaPipe Face Mesh pro sledování obličeje a detekční model YOLOX pro identifikaci přítomnosti mobilního telefonu v ruce řidiče. Systém byl otestován na datové sadě videozáznamů pěti tramvajových řidičů pořízených během jejich reálného provozu. Analýza záznamů ze začátku a konce směny ukázala, že s narůstající únavou dochází k poklesu rychlosti pohybu zorniček o 22\%, snížení poměru otevřenosti očí (EAR) z 0,55 na 0,533 a zvýšení počtu mrknutí o 30\%. Model YOLOX-m, dotrénovaný na rozšířené trénovací sadě, dosáhl přesnosti 0,983 a úplnosti 0,836 při detekci používání mobilního telefonu, přičemž výrazně omezil falešné detekce vysílačky. Dále byla navržena metoda detekce pohybu tramvaje na základě změn v obraze za oknem, která pomocí Cannyho detekce hran účinně eliminuje falešné detekce způsobené odrazy. Výsledky potvrzují funkčnost navrženého systému a jeho potenciál pro integraci do asistenčních systémů řízení. Pro zvýšení robustnosti řešení se doporučuje další rozšíření datových sad.

This thesis focuses on the development of a system for monitoring fatigue and distraction in tram drivers, aiming to improve safety in urban public transport. It targets the automatic detection of fatigue-related facial features and the recognition of mobile phone use while driving. The system leverages machine learning and computer vision techniques, specifically the MediaPipe Face Mesh library for facial tracking and the YOLOX detection model for identifying the presence of a mobile phone in the driver's hand. It was tested on a dataset of video recordings of five tram drivers during actual shifts. Analysis of footage from the beginning and end of shifts revealed that increased fatigue was associated with a 22\% decrease in pupil movement speed, a reduction in eye aspect ratio (EAR) from 0.55 to 0.533, and a 30\% increase in blink frequency. The YOLOX-m model, fine-tuned on an extended training dataset, achieved a precision of 0.983 and a recall of 0.836 in detecting mobile phone usage, while significantly reducing false positives involving handheld radios. Additionally, a method for detecting tram movement based on changes in the scene outside the window was proposed. Using Canny edge detection, this approach effectively eliminated false detections caused by reflections. The results demonstrate the effectiveness of the proposed system and its potential for integration into driver assistance systems. To enhance robustness, further expansion of the dataset is recommended.