Vyhodnocení kombinatorního testování a QA v komplexních systémech: případová studie

Abstract

Tato bakalářská práce popisuje návrh a provedení případové studie, která slouží k vyhodnocení účinnosti metod mode-lově založeného testování (MBT - Model-Based Testing), s důrazem na kombina-torické testování interakcí (CIT - Combi-natorial Interaction Testing). Cílem této práce je porovnat detekce defektů, pokrytí testů a efektivnost CIT metody s tradič-ními testovacími technikami. K dosažení cíle jsme testovací případy generovali dvěma způsoby, manuálním tes-továním a CIT metody. K analýze vý-sledků byly spuštěny testovací případy a shromážděna data. Tato případová studie byla provedena za účelem vyhodnocení praktického použítí CIT. Jako System Under Test (SUT) byly vybrány různé funkcionality oblíbené apli-kace "Anki". Testy zahrnují jak webo-vou, tak desktopovou verzi aplikace a její možné konfigurace. Finální výsledky odhalují, že CIT zlep-šuje pokrytí testů a zkracuje celkovou dobu testování, přičemž poskytuje stejně vysokou úroveň účinnosti. Výpočty indi-kují, že poměr defektů za hodinu se zvy-šuje až o 40%. Z toho vyplývá, že metody MBT, zejména CIT, poskytují účinnější a efektivnější strategii pro zajištění kvality softwaru (QA Quality Assurance), což podporuje jeho širší adopci při testování softwaru.This thesis outlines the design and execution of a case study to evaluate the efficiency of Model-Based Testing (MBT) methods, with a specific emphasis on Combinatorial Interaction Testing (CIT). The objective of this study is to compare defect detection, test coverage and efficiency of CIT compared to traditional testing techniques. To achieve this, we generated test cases in 2 different ways, namely manual testing and CIT techniques. Then we ran the test cases and collected the data in order to analyze the results. This case study was carried out to evaluate the practical application of CIT. Different functionalities of a popular "Anki" flashcards application were selected as System Under Test (SUT). Tests cover both web-based and desktop-based versions of the application, as well as possible configurations. The findings reveal that CIT improves test coverage and reduces overall testing time while providing the same high level of effectiveness. Calculations showed that defect-per-hour ratio increases by up to 40%. This indicates that MBT methods, particularly CIT, provide a more efficient and effective strategy for software Quality Assurance (QA), encouraging its wider adoption in software testing.