Min-entropie

Srovnání entropií na příkladu házení mincí s pravděpodobnostmi (p,1-p). Min-entropie (značená obvykle H_\infty) je pojem z oboru teorie informace. Jedná se o nejkonzervativnější definici entropie z rodiny Rényiho entropie, tedy o nejkonzervativnější odhad neurčitosti možných výsledků. Různé Rényiho entropie jsou si rovny pro případ rovnoměrného rozdělení, ovšem liší pro jiná rozdělení pravděpodobnosti. Přitom platí, že min-entropie není nikdy větší než Shannonova entropie a Shannonova entropie není nikdy větší než max-entropie.

Definice

Min-entropie při daných pravděpodobnostech p_i je rovna -\log_2\max_{1\le i \le n}p_i.

Reference

Kategorie:Entropie a informace