Kullbackova–Leiblerova divergence

Kullbackova-Leiblerova divergence neboli Kullbackova-Leiblerova divergenční míra neboli Kullbackova-Leiblerova vzdálenost neboli relativní entropie čili diskriminační informace je jedna z měr používaných v matematické statistice pro stanovení, jak se jedna distribuční funkce (P) odlišuje od jiné (Q). Kullbackova-Leiblerova divergence DKL(P‖Q) nabývá hodnoty nula, právě když se distribuce P a Q rovnají skoro všude; v opačném případě je divergence kladná. Míra není symetrická, což znamená že DKL(P‖Q) nemusí nutně být totéž jako DKL(Q‖P). Jejími autory jsou Solomon Kullback a Richard Leibler, kteří ji uveřejnili roku 1951.

Jsou-li P a Q pravděpodobnostní míry nad množinou X a je-li P absolutně spojitá míra vzhledem ke Q, tak je Kullbackova-Leiblerova divergence P od Q definována jako : D_{\mathrm{KL}}(P\|Q) = \int_X \ln\frac{dP}{dQ} \, dP, pokud výraz na pravé straně existuje a kde \frac{dP}{dQ} je Radonova-Nikodymova derivace P vzhledem ke Q.

Pro spojité distribuce lze tuto definici napsat jako

: D_{\mathrm{KL}}(P\|Q) = \int_{-\infty}^\infty p(x) \, \ln\frac{p(x)}{q(x)} \, dx,

kde p a q jsou hustoty pravděpodobnosti P resp. Q, a pro diskrétní distribuce vzorec vypadá takto:

:D_{\mathrm{KL}}(P\|Q) = - \sum_i P(i) \, \ln\frac{Q(i)}{P(i)}.

Kategorie:Matematická statistika Kategorie:Teorie informace