Framework pro zkvalitnění testování softwaru silně závislého na hardwarové konfiguraci a konfiguraci OS

Abstract

Techniky kombinatorického testování s podmínkami jsou široce adoptovány průmyslem s cílem snížit cenu a pracnost systematického testování software při současném zajištění úrovně kvality. Tato práce navrhuje další použití těchto technik v oblasti testování interakcí software silně závislého na konfiguraci systému, na kterém daný software běží --- jako jsou operační systémy, anti-malware aplikace, ovladače zařízení, virtualizační nástroje a další.Nejprve je uveden přehled současných možností použití technik kombinatorického testování, dostupných systémů pro kombinatorické generování testovacích kombinací s podmínkami, společně s dostupnými algoritmy pro kombinatorické generátory.Následně jsou diskutovány možnosti a požadavky na vytvoření reálně použitelného optimalizačního systému pro generování testovacích kombinací s ohledem na omezené testovací prostředky pro sestavování fyzických testovacích systémů při testování celých konfigurací HW a s ním silně interagujícím SW.Jádro práce tvoří představení implementace frameworku SysCCIT implementujícího modulární systém pro určení nejlepších dostupných HW konfigurací k sestavení z dostupného inventáře komponent testovací laboratoře beroucí v potaz požadavky a závislosti testované aplikace na daném HW. Také je změřena výkonnost představeného řešení z pohledu času potřebného ke spracování vstupu a vygenerování výsledků pro různě rozsáhlé hypotetické inventáře HW komponent.Nakonec jsou diskutovány možnosti rozšíření vytvořeného frameworku a možnosti pro zlepšení jeho výkonnosti.

Techniques of combinatorial interaction testing with constraints have been widely adopted by industries with the aim to lover the time and labor costs of testing of software while maintaining the desired level of quality.This work proposes another exploitation of these techniques in the are of testing of interactions of software applications with complex dependencies on and interactions with the underlying HW they are being run on --- such as operating systems, anti-malware applications, device drivers, virtualization tools and others.Firstly an overview of current possibilities in the area of combinatorial interaction testing is given, Available systems for combinatorial generation of test inputs combinations (with constraints) are discussed together with algorithms used by combinatorial generators.Then we discuss the options and requirements for creation of real-world usable optimization framework for generation of testing system combinations with respect to restricted resources for building of physical testing computer systems in HW labs when testing the complete interactions of the whole HW and SW system stack.The core of this work is in introduction of a new SysCCIT framework implementing a modular system for selecting the best available HW configurations to be built from an inventory of HW components in testing laboratory, taking into account requirements and dependencies of tested application on given HW. Also its performance and usability attributes are measured and discussed in terms of the required time to produce an output for different hypothetical HW component inventory sets and sizes.Finally, we discuss possible extensions to the implemented framework as well as options and areas for performance improvements.