Registrace histologických snímků za pomoci optického toku a hlubokého učení

Abstract

Registrace lékařských snímků je důležité téma, které se v posledních několika letech dočkalo velkého množství výzkumu, díky pokrokům v architekturách hlubokých neuronových sítí. Metody odhadující optický tok jsou obecně používány k nalezení pohybu každého pixelu v sekvenci obrazů s konstantním jasem a lokálně stejnorodým pohybem. Použití optického toku na histologických vzorcích tkáně je relativně neprozkoumané. Použijeme dataset ANHIR, který tyto vzorky obsahuje. V této práci zanalyzujeme hlavní slabiny metod zaležených na optickém toku, při použití na lékařských snímcích a vyvineme metodu, která je schopná jejich registrace. Také navrhneme postup trénování a generace trénovacích dat, kterých k tomuto použijeme. Vyvinutá metoda, využívající architektury GMA nebo RAFT, byla natrénována na našem datasetu, za pomoci učení s učitelem i bez učitele. Tato metoda je založena na dvoudílném procesu, kde dojde k registraci globálního a lokálního pohybu samostatně. Navrhnutá metoda je následně porovnána s metodxamy ostatních účastníků soutěže ANHIR. Překonala všechny metody poskytnuté organizátory soutěže a je konkurence schopná v porovnání s ostatními účastníky. Optický tok, se ukázal být schopný registrace histologických snímků jak lokálně, tak globálně.

Registration of medical images is an important topic that has seen much research in the last several years, thanks to the advancements in deep neural network architectures. Optical flow estimation methods are generally used for finding pixel-wise motion in image sequences in scenes with constant brightness and homogeneous local movement. The application of optical flow for the purpose of registration of the histological tissue samples is relatively unexplored. We will use the ANHIR dataset, which contains such samples. This thesis will analyze the main weak points of the optical flow methods on medical images and develop a method capable of correctly registering them. We also propose a training procedure and training dataset generation for this purpose. The developed method uses the GMA or RAFT architectures, which we trained on our dataset, combining supervised and unsupervised loss functions. The method utilizes a two-part process registering global and local movement separately.\par The proposed method is compared to methods submitted to the ANHIR challenge. Our method outperforms all baseline methods provided by the organizer while being competitive with the other participants. Optical flow is shown to be able to register histological images both locally and globally.