Avocado framework plugin for generating combinatorial interaction tests

Abstract

V posledních deseti letech si kombinatorické testování (CIT) získává pozornost díky efektivnímu nalézání chyb v komplexních systémech. CIT je široce používané ke generování testovacích scénářů pro softwérové systémy ze vstupních parametrů. Tento způsob testování je známý jako $t-way$ testování, kde $t>2$ je síla vstupních kombinací. V reálném světě existují systémy, které mají mezi vstupními parametry podmínky. Kombinatorické testování s podmínkami (CCIT) je jedna z variant CIT, která se v dnešní době používá. Vytváření CIT a CCIT je v literatuře popsáno jako NP-těžký problém, který potřebuje speciálně navržený algoritmus pro generování optimálního řešení. Aby mohl tester testovat aplikaci, musí pro ni připravit testovací prostředí a integrovat do něj generovaní testovacích scénářů. Tento proces je velice složitý kvůli kontextu a povaze aplikace a testovacího prostředí. Tato práce přináší propojení nově vytvořeného CCIT algoritmu pro generování testů s testovacím prostředím (CIT plugin) pro zvýšení flexibility testovacího procesu. Tento algoritmus byl implementován do testovacího frameworku jménem Avocado jako plugin. Avocado je open-source projekt od společnosti RedHat. Ikdyž je Avocado velice populární nemá žádný CCIT ani CIT algoritmus pro generování testů. CIT plugin je založen na náhodných meta-heuristikách a používá constraint solver pro řešení podmínek mezi parametry. Tato práce popisuje technické detaily CIT pluginu a jeho propojení s Avocado frameworkem. Také popisuje jeho výkonnost a jeho limity. Nová implementace CIT pluginu přináší impozantní výsledky při propojení s Avocado frameworkem.

Over the past decade, combinatorial interaction testing (CIT) has gain attention due to its effectiveness in finding new faults in complex systems. More specifically, CIT has been used widely to generate test suites for software systems by considering the combinations of input parameters. This form of testing known widely as t-way testing, in which (t>2) is the combinations strength of the inputs. In real-world software systems, constraints are present among the input parameters. Constrained CIT (CCIT) is another variant of CIT that can be used more practically nowadays. The generation of CIT and CCIT is formulated in the literature as an NP-hard problem that needs a careful design algorithm to generate new optimal solutions. Apart from the test generation, for practical applications, the tester must adapt the application and the test generation into an execution environment to run and verify the test cases. This process is complicated due to the context and nature of the different applications. This thesis presents an effort to integrate a newly developed CCIT test generation algorithm within an execution environment to help towards the flexibility of this test process. The algorithms were implemented on an industrial scale as a plugin into the Avocado test automation framework. Avocado is an open-source project maintained by Red Hat. Although the tool is popular, it doesn't have a proper CIT and CCIT test generation algorithms. CIT plugin is based on randomized meta-heuristics and uses a constrained solver to resolve the constraints among the input parameters when available. The thesis describes the technical details of the CIT plugin and its connection with the Avocado framework. It also describes its performance and limits. The new implementation of the CIT plugin shows impressive results within the Avocado framework.