Informační entropie je míra nejistoty pravděpodobnostní distribuce. Stochastické systémy mají tendenci být ve stavu maximální entropie. Bez jakýchkoliv vnitřních závislostí by to distribuce odpovídala rovnoměrnému rozložení. ...