Smíšené celočíselné programování ve strojovém učení

Abstract

Ve strojovém učení se otázka vysvětlitelnosti a férovosti stává stále více důležitou. Nové koncepty požadovaných vlastností modelů strojového učení jsou představovány a často vyžadují jiné metody pro optimalizaci. Jednou z takových metod je smíšené celočíselné programování (MIP). Vytváříme přehled širokého použití MIP ve strojovém učení a rozvádíme dvě témata do hloubky. Primárně představujeme MIP formulaci rozhodovacího stromu, zaměřenou na férové rozdělení přesnosti na jeho listech. Nazývame tuto formulaci Fair Classification Tree (FCT). Pomocí ní se zaměřujeme na dosud přehlížený problém. Přidáním dalších modelů do listů FCT ukazujeme, že rozšířené modely mají přesnost srovnatelnou se současně nejlepšími modely, zatímco značně zlepšují vysvětlitelnost modelu. Dále představujeme funkci pro hodnocení kvality kontrafaktuálních vysvětlení modelu, kterou nabízíme k použití při trénování modelu pro hledání rovnováhy mezi vysvětlitelností a přesností modelu. Kontrafaktuální vysvětlení jsou post-hoc vysvětlovací technikou široce používanou v oblastech od financí po zdravotnictví.

In Machine learning (ML), the question of explainability and fairness is becoming ever more critical. New concepts of desired properties of ML models are being introduced and often require looking for other optimization methods. Mixed-integer programming (MIP) is one such optimization method. We overview the wide use of MIP in ML and explore two topics in depth. We mainly contribute with a MIP formulation of a classification tree, focusing on a fair accuracy distribution over its leaves. We call the formulation Fair Classification Tree (FCT). With it, we tackle a currently overlooked problem. By adding further models to the leaves of the FCTs, we show that the extended models have comparable accuracy to state-of-the-art models while significantly improving the explainability of the model. Secondly, we propose a possible way to assess the quality of a model's counterfactual explanations using a function and offer its use in model training in search of balance in explainability and accuracy at once. Counterfactual explanations are a post-hoc explanation technique widely used in fields ranging from finance to healthcare.