Optimalizace sady testů pro testování v automobilovém průmyslu

Abstract

V poslední dekádě automobilový průmysl zaznamenává nárůst stále většího množství komplexních elektronických a softwarových systémů v moderních vozech. Tento nárůst klade zvýšené nároky na systémové a integrační testování těchto systémů. Výsledkem je zvýšená poptávka po vývoji nových validačních a testovacích technik. Při vývoji je testování drahá a časově náročná činnost, zvláště je-li prováděna manuálně. Jedním z automatizovaných je tzv. Mode-based testování (MBT). Tento přístup využívá model testovaného systému, pro automatické generování testů, případně i pro jejich provedení. MBT má mnoho výhod, např.: proces testování je systematičtější, a pokud je pro generování testů použita pokročilá strategie, je i testování důkladnější. Hlavní výhodou MBT, je samotné automatické generování testů, které snižuje náklady a čas potřebné k testování. Nicméně MBT má i své nevýhody. Automatické generování testů může často vést k produkci velmi rozsáhlých sad testů, které je pak obtížné spravovat. Pro řešení tohoto problému jsou navrženy Techniky optimalizace sad testů. Techniky optimalizace sad testů se obecně dělí do tří základních rodin: Redukce testovacích sad, Výběr testů, a Priorizace testů (TCP - Test Case Prioritization). Cíle práce se nacházejí v oblasti TCP. Priorizace testů je proces řazení testů v rámci jejich sady za účelem dosažení konkrétního cíle, např. rychlého odhalení chyb. V oblasti testování založeného na modelech, existuje několik technik pro priorizaci testů. Současný výzkum ukazuje, že jejich výkonost do značné míry závisí na struktuře řazených sad testů. Jeden ze důležitých parametrů v této oblasti je poměr délky testu, který odhalí chybu, a zbytku testovací sady. Pokud je tento parametr nevyvážený (např. TCP technika favorizuje delší testy oproti kratším), může to vést k výraznému poklesu výkonnosti techniky při odhalování chyb. Tato práce navrhuje několik vylepšení pro potlačení této negativní vlastnosti a tím pádem zlepšení schopnosti odhalovat chyby. V rámci práce jsou představeny dvě nové TCP techniky. Obě dvě jsou vylepšením stávající techniky, která má nízkou citlivost na délku testu, ale také pouze průměrnou výkonnost. První technika rozšířuje tu částp ůvodní techniky, která určuje, jaký test bude vybrán jako další v pořadí, o multikriteriální rozhodovací metodu. Tato metoda přidává do rozhodovacího procesu navíc informaci o toku řízení v modelu a míře zvýšení pokrytí testovací sady. Druhá navrhovaná technika výrazněji upravuje originální techniku. Na více místech v rozhodovacím procesu je přidána informace o komplexnosti testu, která upravuje náhodné volby ve prospěch testů s vysokou komplexností. Mimo to, je v práci představena nová metrika pro měření odlišnosti testů, která je založena na funkci měřící podobnost značených grafů. Tato metrika je použita jako důležitá součást druhé navrhované TCP techniky. Všechny navrhované vylepšené techniky jsou validovány na základě dat z reálných vestavěných a automobilových systémů.

Over the past decades, the automotive industry has seen an increasing number of complex electronic and software systems in modern vehicles. For the assurance of product quality, a systematic Integration, and system testing approach is required, which creates pressure on the development of validation and testing techniques. The system/software testing is an expensive and laborious task, especially when it is still performed manually. One of the testing automation approaches, that was developed to increase testing efficiency, is Model-based testing (MBT). Generally, MBT uses some type of models for automatic tests generation and optionally execution. This approach has several benefits; it makes testing more systematic, and if a deliberate test generation strategy is used, it also increases testing thoroughness. However, the main advantage of MBT is that the automatic test generation reduces the costs and time of testing. On the other hand, MBT could have a major drawback. Automatic test generation often produces extensive test suites, which can be difficult to manage. Test suites optimization techniques are designed to find a solution to the problems with extensive test suites. Test suite optimization consists of three general families of technique: Test Suite Reduction, Test Case Selection, and Test Case Prioritization (TCP).. The objectives of the thesis are in TCP domain. The TCP is an ordering of test cases within a test suite with a goal of earlier fault detection. In the MBT world, there are several techniques for test case prioritization. Current research revealed that their performance significantly depends on the structure of test suites. In~this context, a relation between the sizes of failed test cases and the rest of the test suite is an important parameter. In case, this feature is biased (e.g. a TCP technique favorites long test cases over short), fault detection performance can rapidly decrease. This thesis proposes several improvements to suppress this negative property and thus improving fault-detection performance. Two novel TCP techniques are presented. Both techniques are based on a standard TCP method that has relatively small sensitivity to the size of the test cases, but it has only average fault detection performance. The first technique replaces the original Test set distance function with a Multi-Criteria Decision-Making method. The key idea behind this enhancement is to extend the test case selection process with additional information about control flow and change of test statements coverage of a test suite. The second technique skillfully combines the original method with test case complexity guidance. Moreover, the new test case distance function based on a labeled graph similarity function is introduced. This function itself provides good results, but most importantly, it is an essential element in the second proposed TCP technique.. The validity of the proposed techniques are evaluated on datasets from multiple embedded and automotive systems.