Spojená informace ze zadaných entropií

Abstract

Informační entropie je míra nejistoty pravděpodobnostní distribuce. Stochastické systémy mají tendenci být ve stavu maximální entropie. Bez jakýchkoliv vnitřních závislostí by to distribuce odpovídala rovnoměrnému rozložení. Ale většinou jsou jednotlivé proměnné na sobě závislé. Fixováním marginálních entropií a poté spočítáním maximální možné entropie jsme schopni získat náhled do skupin vzájemně závislých proměnných. Při pohledu na výsledky pak můžeme říci, jak moc všechny skupiny n proměnných spolu interagují v porovnání se skupinami jiných velikostí. Tato práce se zaměřuje na metody maximalizace entropie s entropickými podmínkami, jejich implementaci a porovnání a předvedení na několika příkladech. Také vyhodnocuje data z reálného neurologického experimentu a porovnává výsledky s originálními výsledky publikovanými autory a s výsledky jiné bakalářské práce.

Information entropy is a measure of the uncertainty of a probability distribution. Stochastic systems tend to be in the state of maximal entropy. Without any internal dependencies, this would correspond to a uniform distribution. However, variables are typically dependent on each other. We can gain insights into groups of mutually dependent variables by fixing marginal entropies and then computing the maximal possible entropy. When comparing the results, we can say how much groups of n variables interact compared to groups of other sizes. This thesis focuses on methods that maximise entropy under entropic constraints, the implementation and comparison of these methods, and their demonstration through several examples. It also evaluates data from real-life neurological experiments, comparing the results with data published by the authors and with data from another bachelor's thesis.