Některé metody neparametrické regrese

Abstract

Tato bakalářská práce shrnuje tři metody neparametrické regrese. Jsou to metoda odhadu regresní křivky pomocí jader, metoda regularizačních sítí a metoda nataženého provázku. První kapitola uvádí čtenáře do problematiky neparametrické regrese. Jsou zde uvedeny rozdíly mezi parametrickou a neparametrickou regresí. V dalších třech kapitolách jsou shrnuty zmíněné metody neparametrické regrese. Metody jsou vysvětleny, matematicky popsány a uvedeny jejich vlastnosti. V poslední kapitole jsou srovnány všechny metody na různých datech vizuálně a kvantitativně metodou adaptivního mřížkového hledání spolu s křížovou validací. Metoda odhadu regresní křivky pomocí jader a regularizační sítě sice zvítězily v minimální chybě křížové validace, ale vítězné odhady trpěly přeučením. Metoda nataženého provázku v kvantitativním porovnání sice prohrála, ale odhadnutá regresní funkce vypadá vizuálně velmi elegantně, protože je po částech konstantní, což může být výhodné řešení v určitých aplikacích.

This bachelor degree project summarizes three methods of nonparametric regression. They are the kernel regression, the regularization network method, and the taut-string method. The first chapter introduces readers to nonparametric regression. Here are mentioned the differences between parametric and nonparametric regression. In the next three chapters, the above-mentioned nonparametric regression methods are summarized. The methods are explained, mathematically described and are mentioned their properties. All methods are compared on different data visually and quantitatively by adaptive grid search method together with cross-validation in the last chapter. The kernel estimates and the regularization network are the best in a criteria of minimum cross-validation error. These estimates however suffer from overfitting. The taut string is the worst in that criteria, but on the other hand the estimated regression function looks very elegant because it is piecewise constant, which can be useful in some applications.