Specialized Path-based Technique to Test loT System Behaviour under Limited Network Connectivity
Specialized Path-based Technique to Test loT System Behaviour under Limited Network Connectivity
Typ dokumentu
disertační prácedoctoral thesis
Autor
Matěj Klíma
Vedoucí práce
Bureš Miroslav
Oponent práce
Scandurra Patrizia
Studijní obor
Informatika - Katedra počítačůStudijní program
InformatikaInstituce přidělující hodnost
katedra počítačůPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Současné projekty systémů internetu věcí (IoT) se často potýkají s problémy souvisejícími s bezpečností a spolehlivostí, mezi kterými hraje výraznou roli chování systému při omezeném či nestabilním síťovém připojení. Přes jeho význam tomuto problému doposud nebyla v blasti výzkumu věnována dostatečná pozornost. Pro testování tohoto chování lze použít různé ad hoc přístupy, avšak je obtížné odhadnout jak jejich účinnost, tak jejich reálnou nákladnost. Tato práce proto představuje novou techniku založenou na průchodech procesů systému (path-based testing) přímo zaměřenou na testování scénářů s omezeným či narušeným síťovým připojením ovlivňujícím tyto procesy. Tato technika může být škálována pomocí čtyř úrovní kritérií pokrytí testů, které určují účinnost a cenu vytvořených testovacích scénářů. Dále jsme navrhli tři algoritmy pro generování testovacích scénářů z modelu testovaného systému: algoritmus založený na prohledávání grafu do šířky, algoritmus založený na simulovaném chování mravenčí kolonie a adaptace genetického algoritmu. Následně jsme porovnali účinnost navrženého přístupu s účinností dvou existujících způsobů generování testovacích scénářů. První způsob zahrnoval tři standardní v průmyslu používaná kritéria pokrytí testů: pokrytí hran, pokrytí dvojic hran a kritérium Test Depth Level 3. Druhým srovnávaným způsobem bylo využití předchozího algoritmu založeného na tzv. testovacích požadavcích. Pro experimentální ověření byly navržené algoritmy implementovány v rámci platformy Oxygen. Abychom porovnali efektivitu algoritmů, vytvořili jsme 310 různých modelů testovaného systému. Část těchto modelů pocházela z reálných projektů vývoje IoT systémů, část byla vytvořena uměle tak, aby modely svojí topologií připomínaly reálné systémy a poslední část modelů byla pro větší různorodost vygenerována čistě uměle. Dále jsme do modelů zavedli umělé defekty způsobené omezeným síťovým připojením, abychom vyhodnotili potenciální efektivitu jednotlivých algoritmů při detekci těchto defektů. Pro většinu modelů systému v těchto experimentech přinesla nejlepší výsledky metoda založená na simulaci chování mravenčích kolonií. Pro určitou menší část modelů však poskytly nejlepší výsledky i zbylé dva navržené algoritmy. V malém počtu případů dosáhl nejlepšího výsledku dokonce i existující přístup založený na testovacích požadavcích. Výsledek není překvapivý, jedná se o relativně běžnou situaci v oblasti testování procesů systému. Abychom tedy zajistili generování nejlepší sady testovacích scénářů pro co nejširší spektrum různých modelů systému, zkombinovali jsme všechny porovnávané algoritmy do tzv. portfoliové strategie. Navržená technika je dobře použitelná v mnoha situacích, kdy IoT systém funguje s omezenou síťovou konektivitou, zejména pro testování kriticky důležitých systémů IoT. Techniku lze dále zobecnit na testovací scénáře, ve kterých dojde k selhání, odpojení nebo poškození konkrétní součásti systému. Existing Internet of Things (IoT) systems encounter several reliability-related issues, among which the dynamic behavior of IoT systems under limited and unstable network connectivity is yet to attract significant research attention. Several ad hoc approaches can be employed to intuitively test this behavior. However, the effectiveness of ad hoc methods for defect detection and the overall expenditure for testing limited network connectivity remain unclarified. Therefore, this thesis presents a new specialized path-based technique to test the processes of an IoT system in scenarios with limited or disrupted network connectivity affecting these processes. This technique can be scaled using four levels of test coverage criteria to determine the strength of the created test scenarios. Additionally, we proposed three algorithms to generate test cases for implementing the technique: breadth-first search graph traversalbased test case composition, ant colony optimization-based search, and genetic-algorithmbased test case composition. Subsequently, the effectiveness of the proposed approach was compared with that of the two baselines. The first baseline comprised three standard pathbased testing approaches—Edge, Edge-pair, and Test Depth Level (TDL) 3 coverage—applied to the discussed case. The second baseline was a possible solution utilizing a standard path-based testing approach based on the test requirements, in which the test scenarios are computed by a set-covering algorithm. In the experiments, the proposed algorithms were implemented in an Oxygen platform, which is an experimental model-based testing environment. To compare the effectiveness of the algorithms, we defined 310 problem models comprising real-life project models, artificially created models resembling the topology of real systems, and purely artificially generated models offering diverse problem instances. Furthermore, we introduced artificial defects into the models to evaluate the potential effectiveness of the individual algorithms in detecting limited network connectivity related defects present in the system. Although the ant colony optimization-based method yielded the best results for most problem instances, the other two algorithms provided the best results for certain portions of the problem instances. In certain cases, even the baseline test requirements-based approach delivered the best results, an effect relatively common in the path-based testing field in general. Therefore, all the compared algorithms were combined into a portfolio strategy to ensure the generation of the best test set. Overall, the proposed technique is applicable to numerous cases in which an IoT systém is operating under limited network connectivity, especially for testing mission-critical IoT systems. Furthermore, the technique can be generalized to test scenarios in which a system component undergoes failure, disconnection, or damage.
Zobrazit/ otevřít
Kolekce
- Disertační práce - 13000 [697]