Interpretace pozitivní detekce statisticky nezvládnutého stavu při statistické regulaci procesů

Abstract

Důležitým předpokladem mnoha aplikací metod strojového učení v reálném světě je vysvětlitelnost výsledků těchto metod. Proto je trendem vytvářet metody, které nejen fungují dobře, ale jsou také vysoce interpretovatelné. Tato práce se zabývá interpretací modelu One-Class Support Vector Machine aplikovaného v oblasti kontroly kvality. Konkrétně se problém interpretace zaměřuje na určení správných charakteristik kvality (QCs), které jsou příčinou statisticky nezvládnutého stavu stavu (OOC). Byly vybrány tři interpretační metody a porovnány pomocí tří navržených měr výkonnosti. Novinkou této práce je použití metody LIME, protože dosud nebyla použita na problém interpretace One-Class SVM. Nevýhodou této metody je, že uživatel musí určit, kolik charakteristik kvality způsobilo OOC, a LIME pak vybere ty, o kterých si myslí, že to jsou. Tento problém jsem vyřešil pomocí jednoduché heuristiky. Vyhodnocení ukázalo, že výsledky metody LIME jsou výrazně horší než výsledky zbývajících dvou metod, které jsou již pro problém interpretace v kontrole kvality používány. Nicméně toto bylo způsobeno mnou navrženou heuristikou nikoliv samotnou metodou LIME. To potvrdila i druhá sada experimentů, v níž byla interpretační metodě LIME poskytnuta informace o tom, kolik QC je třeba určit pro daný vzorek. V tomto případě byly výsledky mnohem slibnější i v kontextu zbylých metod. Metoda LIME se jeví perspektivně pro interpretaci v oblasti kontroly kvality, nicméně je třeba nahradit zmíněnou heuristiku, která určuje kolik QCs je třeba najít, aby byla metoda LIME použitelná v praxi.

An important assumption for many real-world applications of machine learning methods is the explainability of the outcomes of such methods. Therefore, the trend is to create methods that not only perform well but are also highly explainable. This thesis deals with the interpretation of the One-Class Support Vector Machine model applied to quality control. Specifically, the interpretation problem focuses on determining the correct quality characteristics (QCs) that are responsible for a positive detection of an out-of-control state (OOC). Three interpretation methods were selected and compared using three proposed performance measures. The novelty of this thesis is the use of the LIME method, as it has not been applied before to the One-Class SVM interpretation problem. The disadvantage of this method is that the user has to determine how many quality characteristics caused the positive OOC detection, and then LIME estimates those that caused the OOC. I solved this problem using a simple heuristic. The evaluation showed that the results of the LIME method are significantly worse than the results of the two other methods that are already in use for the interpretation problem in quality control. However, this was due to the proposed heuristic, not the LIME method itself. This was confirmed by a second set of experiments, in which the number of QCs responsible for OOC detection was known and provided to the LIME method. Then, the LIME gave much more promising results even in the context of the other methods. The LIME method is promising for interpretation in quality control. However, a more sophisticated approach to finding the correct number of shifted QCs needs to be devised to make the interpretation method applicable in practice.