Techniky sledování procesu učení, jejich vysvětlitelnost a použití

Abstract

Technologický pokrok spojený s vývojem potřeb společnosti vyžaduje personalizované online vzdělávání. Jeho nedílnou součástí je modelování znalostí studenta - knowledge tracing, což je úloha strojového učení pro předpovídání studentovy úspěšnosti na testovacích úlohách z jeho předchozích interakcí se studijními materiály. Tato diplomová práce popisuje výzkum úlohy knowledge tracing a navrhuje způsob jeho kategorizace dle primárních mechanik modelů. Proces předpovědi a techniky vizualizace jsou popsány pro zástupce každé kategorie. Je uveden seznam datasetů spolu s jejich hlavními vlastnostmi a metrikami. Práce také zahrnuje vytvoření nového datsetu z dat z fakultního kvízového systému Marast. Datasety později využité pro experimenty jsou popsány ve větším detailu. Práce dále pokračuje implementací knowledge tracing modelů, jejich srovnáním s ostatními a zevrubnou analýzou. Byl implementován model z každé kategorie a nově upraveny modely pro zpracování textu otázek. Analýza ukázala potenciál úlohy knowledge tracing pro předpovídání personalizované obtížnosti otázek. Modely s pozornostními mechanismy (attention mechanisms) a explicitní pamětí vedly k nejintuitivnějším vizualizacím, které dále vysvětlují předpovězenou obtížnost otázek.

Swift technological advancement and the ever-evolving needs of society lead to the growing importance of personalized online education. A core challenge of personalization is knowledge tracing - a machine-learning task of predicting a student's performance while interacting with learning materials. This thesis explores knowledge tracing and proposes a categorization of existing methods according to their primary mechanics. It identifies the main representatives within each category and describes their prediction process and visualization techniques. A list of knowledge tracing datasets from literature is compiled featuring their key metrics. Additionally, a new dataset is created from data gathered in a FIT CTU's quiz system Marast. Subsequently, datasets utilized for the experimentaion part of this thesis are described in greater detail. A representative of each category of deep knowledge tracing techniques is implemented, compared with others, and extensively analyzed. Furthermore, KT models were modified to process the text of questions. The analysis showed the promise of knowledge tracing for the next exercise personalized difficulty prediction. Notably, models leveraging attention mechanism and memory-augmentation provide interpretable visualizations further explaining the predicted difficulty.