Explainability in deep learning-based medical image analysis

Abstract

V této práci aplikujeme metody vysvětlitelnosti Grad-CAM++, LayerCAM a SmoothGrad na konvoluční neuronovou síť založenou na EfficicientNetV2 a doučenou na mikroskopických histologických snímcích. Tato neuronová síť predikuje průměrnou difuzivitu (MD) a frakční anizotropii (FA), původně získanou technikou difuzního tenzorového zobrazování (DTI). Cílem této práce je odhalit, které histologické vlastnosti mají vliv na zvýšení MD a FA. Naše síť dosahuje více než 98.5 % R2 na trénovací, validační i testovací množině, čímž o desítky procentních bodů překonává síť navrženou v předešlé práci. Aplikované metody vysvětlitelnosti na mikroskopické snímky se ukázaly být méně užitečné, než jsme předpokládali. Sice naznačují určitý vliv buněčných jader, nicméně detaily tohoto vztahu zůstávají i nadále nejasné.In this work, we apply Grad-CAM++, LayerCAM and SmoothGrad explainability methods to the proposed EfficientNetV2-based convolutional neural network fine-tuned on microscopic histology imaging. The network predicts mean diffusivity (MD) and fractional anisotropy (FA) obtained from diffusion tensor imaging. The aim of the work was to reveal which histology features tend to increase MD and FA. The proposed network achieved more than 98.5% R2 on all train, validation and test sets, surpassing the network proposed in the preceding work by tens of percentage points in R2. Nevertheless, the explainability methods applied to microscopy imaging were less valuable than anticipated. They indicate certain nuclei influence; however, the details about the relationship remain undiscovered.