Odhad řídké parametrizace pravděpodobnostních modelů

Abstract

Výzkumný úkol se zabývá odhadem řídké parametrizace pravděpodobnostích modelů. V rámci práce je vypracován přehledný popis korespondencí mezi marginálními distribucemi pro parametry modelu a apriorními distribucemi pro hyperparametry. Prezentovány jsou též alternativní variační metody aproximace aposteriorních distribucí založené na přirozených parametrech společně s metodou přirozeného největší spádu a jeho různých alternativ. Hledání řídké parametrizace pravděpodobnostniho modelu je demonstrováno na Bayesovské lineární regresi s použitím reálných dat z ovzduší. Následuje přiklad s updatem parametrů metodou variačniho RMSprop, který hledá řídkou parametrizaci pravděpodobnostniho modelu logistické regrese na reálných hematologických datech. Závěrem práce jsou odvozeny rovnice pro gradienty Evidence Lower Bound Bayesovské logistické regrese s řídkým apriornem na parametry modelu a Gamma apriornem na hyperparametr přesnosti.