Webová aplikace pro hraní obrazových predikčních her

Abstract

Tato diplomová práce se věnujeme schopnosti člověka odhadnout nejistotu predikce. Pro studování tohoto problém jsme se rozhodli reprezentovat nejistotu predikce jako možnost odmítnout odpovědět ve zdánlivě těžkých případech. Ve studii jsme uvažovali problém odhadu věku člověka na základě poskytnuté fotografie obličeje. Navrhli jsme hry pro odhadování věku, které obsahují pravidla snadno pochopitelná pro člověka a jsou zároveň vhodná pro naši studii. V rámci diplomové práce jsme vytvořili webovou stránku pro hraní predikčních her. Tato aplikace byla následně použita k nasbírání lidských dat pro naši studii na dvou veřejných datasetech MORPH a AgeDB. Nasbíraná data jsme použili pro analýzu rozhodování člověka. Zároveň jsme také porovnali člověka s konvoluční neuronovou sítí. Hlavním poznatkem naší práce je, že lidé, na rozdíl od neuronové sítě, nedokáží vhodně použít možnost odmítnutí odpovědět.

This thesis studies a human ability to assess the uncertainty of his/her own predictions. To evaluate this ability objectively, we analyze the human performance in the problem of prediction with the reject option, because the optimal reject option strategy requires the knowledge of the prediction uncertainty. As the test scenario, we considered the problem of predicting the human age from face images. We formulated Age Prediction Games which are special instances of the prediction problems we wanted to study, and which have simple rules understandable to everyone. We implemented a web application where the Age Prediction Games can be played online in an ordinary Internet browser. We used the application to collect responses in the Age Prediction Games on face images from two established age prediction benchmarks, the MORPH and the AgeDB database. We used the collected data to analyze the human performance in age prediction and age prediction with the reject option. We also compare the human performance with the convolution neural network trained on examples. The main finding is that humans are unable to exploit the reject option to improve performance in the game in contrast to simple CNN predictors.