Podmíněná entropie

X). Fialová je vzájemná informace \operatorname{I}(X;Y).

Podmíněná entropie v teorii informace kvantifikuje množství informace potřebné pro popsání výsledku náhodného pokusu Y, pokud je známá hodnota jiné náhodné proměnné X. Měří se stejně jako informační entropie v bitech (kterým se v této souvislosti také říká „shannons“), někdy v „přirozených jednotkách“ (natech) nebo v desítkových číslicích (nazývaný „dits“, „bans“ nebo „hartleys“). +more Jednotka měření závisí na základu logaritmu použitého pro výpočet entropie.

Entropii Y podmíněnou X zapisujeme \Eta(Y|X), kde \Eta je velké řecké písmeno Éta.

Definice

Podmíněná entropie Y, je-li dáno X, je definována jako

{{Rámeček|{{Vzorec|\Eta(Y|X)\ = -\sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log \frac {p(x,y)} {p(x)}|1}} | šířka = 6 | rámeček = #0073CF | barva = #F5FFFA | popisek=}}

kde \mathcal X a \mathcal Y označuje nosič náhodných proměnných X a Y.

Poznámka: při výpočtech se neurčité výrazy 0 \log 0 a 0 \log c/0 pro pevné c > 0 považují za rovné nule, protože \lim_{\theta\to0^+} \theta\, \log \,c/\theta = 0 a \lim_{\theta\to0^+} \theta\, \log \theta = 0.

Intuitivní vysvětlení definice: Podle definice platí, že \displaystyle H(Y|X) =\mathbb{E}(\ f(X,Y) \ ) kde \displaystyle f:(x,y) \ \rightarrow -\log( \ p( y|x) \ ) . \displaystyle f přiřazuje dvojici \displaystyle (x,y) informační obsah \displaystyle (Y=y), je-li dáno \displaystyle (X=x), což je množství informace potřebné pro popsání události \displaystyle (Y=y), je-li dáno (X=x). +more Podle zákona velkýich čísel, \displaystyle H(Y|X) je aritmetický průměr velkého počtu nezávislých realizací \displaystyle f(X,Y).

Motivace

Nechť \Eta(Y|X=x) je entropie diskrétní náhodné proměnné Y podmíněná tím, že diskrétní náhodná proměnná X nabývá hodnotu x. Označme nosiče funkcí X a Y \mathcal X a \mathcal Y. +more Nechť Y má pravděpodobnostní funkci p_Y{(y)}. Nepodmíněná entropie Y se spočítá jako \Eta(Y) := \mathbb{E}[\operatorname{I}(Y)], tj.

:\Eta(Y) = \sum_{y\in\mathcal Y} {\mathrm{Pr}(Y=y)\,\mathrm{I}(y)} = -\sum_{y\in\mathcal Y} {p_Y(y) \log_2{p_Y(y)}},

kde \operatorname{I}(y_i) je informační obsah toho, že výsledek Y má hodnotu y_i. Entropie Y podmíněná tím, že X nabývá hodnotu x, je definována podobně podmíněné očekávání:

:\Eta(Y|X=x) = -\sum_{y\in\mathcal Y} {\Pr(Y = y|X=x) \log_2{\Pr(Y = y|X=x)}}. Pamatujte, že \Eta(Y|X) je výsledek průměrování \Eta(Y|X=x) přes všechny možné hodnoty x, kterých může nabývat X. +more Také pokud se výše uvedený součet bere přes vzorek y_1, \dots, y_n, očekávaná hodnota E_X[ \Eta(y_1, \dots, y_n \mid X = x)] je známa v nějakém oboru jako ekvivokace .

Jsou-li dány diskrétní náhodné proměnné X s obrazem \mathcal X a Y s obrazem \mathcal Y, podmíněná entropie Y, je-li dáno X se definuje jako vážený součet \Eta(Y|X=x) pro každou možnou hodnotu x, s použitím p(x) jako váhy:

: \begin{align} \Eta(Y|X)\ &\equiv \sum_{x\in\mathcal X}\,p(x)\,\Eta(Y|X=x)\\ & =-\sum_{x\in\mathcal X} p(x)\sum_{y\in\mathcal Y}\,p(y|x)\,\log\, p(y|x)\\ & =-\sum_{x\in\mathcal X}\sum_{y\in\mathcal Y}\,p(x,y)\,\log\,p(y|x)\\ & =-\sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log\,p(y|x)\\ & =-\sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log \frac {p(x,y)} {p(x)}. \\ & = \sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log \frac {p(x)} {p(x,y)}. +more \\ \end{align}.

Vlastnosti

Nulová podmíněná entropie

\Eta(Y|X)=0 právě tehdy, když hodnota Y je úplně určena hodnotou X.

Podmíněná entropie of nezávislý náhodné proměnné

Naopak \Eta(Y|X) = \Eta(Y) právě tehdy, když Y a X jsou nezávislé náhodné proměnné.

Řetízkové pravidlo

Předpokládejme, že kombinovaný systém určený dvěma náhodnými proměnnými X a Y má sdruženou entropii \Eta(X,Y), tj. potřebujeme průměrně \Eta(X,Y) bitů informace pro popsání jeho přesného stavu. +more Pokud nejdříve zjistíme hodnotu X, získali jsme \Eta(X) bitů informace. Pokud je X známé, potřebujeme pouze \Eta(X,Y)-\Eta(X) bitů pro popsání stavu celého systému. Tato hodnota se přesně rovná \Eta(Y|X), kterou dává řetízkové pravidlo podmíněné entropie:.

:\Eta(Y|X)\, = \, \Eta(X,Y)- \Eta(X).

řetízkové pravidlo vyplývá z výše uvedené definice podmíněné entropie:

:\begin{align} \Eta(Y|X) &= \sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log \left(\frac{p(x)}{p(x,y)} \right) \\[4pt] &= \sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)(\log (p(x))-\log (p(x,y))) \\[4pt] &= -\sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log (p(x,y)) + \sum_{x\in\mathcal X, y\in\mathcal Y}{p(x,y)\log(p(x))} \\[4pt] & = \Eta(X,Y) + \sum_{x \in \mathcal X} p(x)\log (p(x) ) \\[4pt] & = \Eta(X,Y) - \Eta(X). \end{align}

Řetízkové pravidlo platí obecně pro více náhodné proměnné:

: \Eta(X_1,X_2,\ldots,X_n) = \sum_{i=1}^n \Eta(X_i | X_1, \ldots, X_{i-1})

Tento vztah se podobá řetízkovému pravidlu z teorie pravděpodobnosti, ale místo násobení využívá sčítání.

Bayesovo pravidlo

Bayesovo pravidlo pro podmíněnou entropii říká :\Eta(Y|X) \,=\, \Eta(X|Y) - \Eta(X) + \Eta(Y).

Důkaz: \Eta(Y|X) = \Eta(X,Y) - \Eta(X) a \Eta(X|Y) = \Eta(Y,X) - \Eta(Y). Symetrie má za následek \Eta(X,Y) = \Eta(Y,X). Odečtením obou rovnic dostaneme Bayesovo pravidlo.

Pokud Y je podmíněně nezávislé na Z, je-li dáno X máme:

:\Eta(Y|X,Z) \,=\, \Eta(Y|X).

Další vlastnosti

Pro jakékoli X a Y: :\begin{align} \Eta(Y|X) &\le \Eta(Y) \, \\ \Eta(X,Y) &= \Eta(X|Y) + \Eta(Y|X) + \operatorname{I}(X;Y),\qquad \\ \Eta(X,Y) &= \Eta(X) + \Eta(Y) - \operatorname{I}(X;Y),\, \\ \operatorname{I}(X;Y) &\le \Eta(X),\, \end{align}

kde \operatorname{I}(X;Y) je vzájemná informace mezi X a Y.

Pro nezávislé X a Y:

:\Eta(Y|X) = \Eta(Y) a \Eta(X|Y) = \Eta(X) \,

Přestože určitá podmíněná entropie \Eta(X|Y=y) může být menší i větší než \Eta(X) pro dané náhodné variace y Y, \Eta(X|Y) nemůže nikdy přesáhnout \Eta(X).

Podmíněná diferenciální entropie

Definice

Výše uvedená definice platí pro diskrétní náhodné proměnné. Spojitá verze diskrétní podmíněné entropie se nazývá podmíněná diferenciální (nebo spojitá) entropie. +more Nechť X a Y jsou spojité náhodné proměnné se sdruženou hustotou pravděpodobnosti f(x,y). Diferenciální podmíněná entropie h(X|Y) se definuje takto.

{{Rámeček|{{Vzorec|h(X|Y) = -\int_{\mathcal X, \mathcal Y} f(x,y)\log f(x|y)\,dx dy|2}} | šířka = 6 | rámeček = #0073CF | barva = #F5FFFA | popisek=}}

Vlastnosti

Oproti podmíněné entropii pro diskrétní náhodné proměnné může být podmíněná diferenciální entropie záporná.

Stejně jako v diskrétním případě platí řetízkové pravidlo pro diferenciální entropii: :h(Y|X)\,=\,h(X,Y)-h(X) Toto pravidlo však neplatí, pokud se příslušné diferenciální entropie neexistují nebo jsou nekonečné.

Sdružené diferenciální entropie se také používají v definici vzájemné informace mezi spojitými náhodnými proměnnými: :\operatorname{I}(X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)

h(X|Y) \le h(X), přičemž rovnost nastává právě tehdy, když X a Y jsou nezávislé.

Vztah k chybě odhad

Podmíněné diferenciální entropie dává spodní mez očekávané druhé mocniny chyby odhadu. Pro jakoukoli náhodnou proměnnou X, pozorování Y a odhad \widehat{X} platí: :\mathbb{E}\left[\bigl(X - \widehat{X}{(Y)}\bigr)^2\right] \ge \frac{1}{2\pi e}e^{2h(X|Y)}

Což se podobá principu neurčitosti z kvantové mechaniky.

Zobecnění na kvantovou teorii

V kvantové teorii informace se podmíněná entropie zobecňuje na podmíněnou kvantovou entropii, která na rozdíl od svého klasického protějšku může nabývat záporných hodnot.

Odkazy

Reference

Související články

Informační entropie * Vzájemná informace * Podmíněná kvantová entropie * Věrohodnostní funkce

Kategorie:Entropie a informace Kategorie:Teorie informace