Automatické vyhodnocování domácích úkolů z Cassandry

Abstract

Hodnocení otevřených programovacích úloh může být náročné kvůli velké různorodosti studentských řešení. Přestože tyto úlohy poskytují studentům praktické zkušenosti podobné reálným softwarovým projektům, jejich flexibilní charakter často vede ke složitému, časově náročnému a nekonzistentnímu hodnocení. Tato práce řeší uvedený problém v kontextu konkrétní úlohy založené na použití databázi Apache Cassandra ze předmětu Databázové systémy 2 (DS2) na Fakultě elektrotechnické Českého vysokého učení technického v Praze (FEL ČVUT). Studenti v této úloze samostatně navrhují své datové modely a implementují dotazy manipulující nad daty pomocí jazyka Cassandra Query Language (CQL), což vede k různorodým řešením bez předem definovaných správných odpovědí. Pro zjednodušení hodnocení byl vytvořen nástroj pro automatickou evaluaci. Tento nástroj parsuje studentské CQL skripty, vyhodnocuje je vůči definovaným kritériím, spouští dotazy v kontrolovaném testovacím prostředí pro ověření správnosti řešení, generuje reporty a následně ukládá detailní výsledky hodnocení do databáze pro další analýzu. Aplikace byla integrována se serverem Not only SQL (NoSQL) na ČVUT FEL a otestována na reálných odevzdaných úlohách studentů z akademického roku 2024/2025. Aplikace poskytla přesné výsledky a vykázala výrazné zlepšení ve srovnání s dříve používaným nástrojem. Očekává se, že po integraci do kurzu DS2 nástroj zlepší spravedlnost, konzistenci a efektivitu známkování a zároveň poskytne studentům jasnou a včasnou zpětnou vazbu.

Evaluating open-ended programming assignments can be challenging due to the high variability in student submissions. While these assignments provide students with practical experience similar to real-world software projects, their flexibility often results in difficult, time-consuming, and inconsistent grading. This thesis addresses this problem in the context of a specific Apache Cassandra assignment used in the Database Systems 2 (DS2) course at the Faculty of Electrical Engineering, Czech Technical University in Prague (FEE CTU). Students independently design their data models and write data-manipulating queries using Cassandra Query Language (CQL), producing diverse solutions without predefined correct answers. An automatic assessment tool has been developed to simplify the evaluation. This tool parses students' CQL scripts, evaluates them against defined criteria, executes the queries to verify correctness, checks criteria fulfillment, generates reports, and then saves the detailed evaluation results into a database for further analysis. The application was integrated with a Not only SQL (NoSQL) server at FEE CTU and tested on real student submissions from the 2024/2025 academic year. It produced accurate results and showed significant improvement compared to the previously used tool. After being integrated into the DS2 course, the tool is expected to improve the fairness, consistency, and efficiency of the grading process while providing students with clear and timely feedback.