Entropie

Termodynamický systém s nízkou entropií - „zúženým“ rozložením pravděpodobnosti, a tedy „vysokou“ schopností konat práci Termodynamický systém s vysokou entropií - „rozšířeným“ rozložením pravděpodobnosti, a tedy nízkou schopností konat práci

Entropie je jedním ze základních a nejdůležitějších pojmů ve fyzice, teorii pravděpodobnosti a teorii informace, matematice a mnoha dalších oblastech vědy teoretické i aplikované. Vyskytuje se všude tam, kde se pracuje s pravděpodobností možných stavů daného systému.

V populárních výkladech se často vyskytuje přiblížení entropie jako veličiny udávající „míru neuspořádanosti“ zkoumaného systému. Problémem tohoto vysvětlení je, že tato „definice“ používá pojem „neuspořádanost“, který je však sám nedefinovaný. +more Vhodnější je intuitivní představa entropie jako míry neurčitosti systému. Zatímco „ostrá“ rozdělení pravděpodobnosti (jako například prahování) mají entropii nízkou, naopak „neostrá“ či „rozmazaná“ rozdělení pravděpodobnosti mají entropii vysokou. Za pravděpodobnostní rozložení s nejvyšší entropií lze považovat normální (pro danou střední hodnotu a směrodatnou odchylku) nebo rovnoměrné (pro daný interval) rozložení.

Původ slova „entropie“ je odvozen z řeckého εντροπία, "směrem k", (εν- "k" + τροπή "směrem").

Historie

Pojem (termodynamické) entropie zavedl Rudolf Clausius v kontextu klasické termodynamiky s cílem vysvětlit, proč některé procesy jsou spontánní a jiné nejsou.

Mikroskopickou definici entropie předložil Ludwig Boltzmann v roce 1887, jako jeden z centrálních pojmů jím založeného nového oboru fyziky - statistické mechaniky.

Claude Elwood Shannon v r. 1948 na hypotéze, že informace je činitel související s mírou poodhalení té věčně zamlžené „pravdy“ hledané člověkem, postavil matematickou hypotézu vedoucí ke vztahu, známému dříve již jako entropie. +more Použil tehdy jedinou známou jazykovou reprezentaci neurčitosti - pravděpodobnost, a tak dospěl k uvedenému vztahu. Dal tak základy teorii informace jako exaktní vědě (v článku: Claude Elwood Shannon, Warren Weaver: „A mathematical theory of communication“ v r. 1948).

Definice

V případě diskrétních stavů i pravděpodobností je entropie nejčastěji definovaná (Josiah Willard Gibbs) jako veličina typu: :S = - k\sum_i P_i \ln P_i \. kde S je obecně používaný symbol pro entropii. +more Sumace se provádí přes všechny mikrostavy odpovídající zadanému makrostavu, a P_i~ je pravděpodobnost i-tého mikrostavu. Konstanta k odpovídá volbě jednotek, ve kterých je entropie S měřena. V jednotkách SI je k = kB = Boltzmannova konstanta = 1,380 649×10−23 J K−1. Jednotka entropie je tedy formálně stejná, jako jednotka tepelné kapacity. V jednotkách bit je k = 1/ln(2), takže :S = -\sum P_i \log_2 P_i. Z matematického pohledu je tedy entropie určitý aditivní funkcionál na pravděpodobnostních rozděleních. Z pohledu fyziky je entropie klíčová veličina pro formulaci druhého zákona termodynamiky. Tento zákon klade principiální meze pro možnost získat z termodynamické soustavy užitečnou práci. Explicitněji řečeno je energie TRS coby užitečná práce nedostupná, přičemž TR je teplota nejchladnějšího vnějšího rezervoáru tepla. Pojem entropie a druhý zákon termodynamiky může být také uplatněn při řešení otázky, jestli daný proces bude probíhat spontánně. Spontánní procesy v uzavřených soustavách vždy odpovídají nárůstu entropie.

V případě izolovaného systému v rovnováze (Boltzmann) platí: : S = k_{\mathrm{B}} \ln \Omega \, kde \Omega \, je systému dostupná část fázového prostoru (u stejnocenných mikrostavů se jedná jednoduše o počet rozlišitelných mikrostavů daného makroskopického stavu systému).

Termodynamická entropie

Podíl tepla Q a teploty T bývá označován jako redukované teplo. Při vratném Carnotově cyklu je součet redukovaných tepel roven nule. +more Vzhledem k tomu, že libovolný vratný cyklus je možné aproximovat elementárními Carnotovými cykly, jejichž redukované teplo lze vyjádřit jako \frac{\Delta Q}{T}, je možné předchozí tvrzení zobecnit na libovolný vratný cyklus.

Proběhnutí všech elementárních Carnotových cyklů je pak ekvivalentní aproximovanému vratnému ději, což lze vyjádřit jako :\sum \frac{\Delta Q}{T} = 0 Postupným zmenšováním elementárních Carnotových cyklů se v limitě dostaneme k výrazu :\oint \frac{\delta Q}{T} = 0 Tento vztah je označován jako Clausiova rovnice a představuje podmínku, která je platná pro libovolný vratný kruhový děj. Tuto rovnici lze považovat za matematické vyjádření druhého termodynamického zákona: Všechna \delta Q nemohou být kladná, ale některá musí být i záporná. +more Soustava, která vykonává vratný kruhový děj tedy nemůže od okolních těles teplo pouze přijímat, ale musí jim také nějaké teplo odevzdávat.

Předchozí rovnice umožňuje definovat novou termodynamickou stavovou veličinu - entropii S. Její změnu při vratném termodynamickém ději lze vyjádřit pomocí tepla Q dodaného soustavě a její termodynamické teploty T ve formě integrálu :S_2-S_1 = \int \frac{\delta Q}{T}. +more Pro nevratný děj platí Clausiova nerovnost:.

\oint \frac{\delta Q}{T}

zde T označuje místo teploty soustavy teplotu termostatu.

Princip růstu entropie

Entropie je veličina s velkým významem, neboť umožňuje formulovat druhou hlavní větu termodynamiky, a vyjádřit kvantitativně nevratnost tepelných pochodů. Tuto skutečnost vyjadřuje princip růstu entropie.

Za příklad nevratného děje lze považovat pokles závaží spojený s uvolněním jisté potenciální energie. Pokud klesne závaží o určitou výšku h a je zastaveno třením, vykoná práci W, při které třením vznikne teplo Q = W. +more Toto teplo je odvedeno do okolí, které lze považovat za těleso s teplotou T, a jehož entropie se tím změní o hodnotu \Delta S=\frac{Q}{T}. Předpokládá se přitom, že teplota okolí se přidáním tepla Q nijak znatelně nezmění. Přivedené teplo je kladné, a proto je také změna entropie kladná. Entropie soustavy tedy při tomto nevratném ději vzrostla.

Tepelně izolovaná soustava. Uvažujme tepelně izolovanou soustavu dvou těles 1 a 2 s teplotami T_1 a T_2.

Tělesa si mohou vyměňovat tepelnou energii, přičemž celková hodnota tepelné energie zůstává stálá. Získá-li těleso 2 o teplotě T_2 teplo \partial Q_2, musí těleso 1 stejně velké teplo odevzdat, tzn. +more \partial Q_2=-\partial Q_1. Bude tedy platit \partial Q_1+\partial Q_2=0.

Změna entropie bude :\mathrm{d}S = \mathrm{d}S_1+\mathrm{d}S_2 = \frac{\partial Q_1}{T_1} + \frac{\partial Q_2}{T_2} = \left(\frac{1}{T_1}-\frac{1}{T_2}\right) \partial Q_1 = \frac{T_2-T_1}{T_1T_2} \partial Q_1 Z tohoto vztahu je vidět, že pokud mají výraz T_2-T_1 a teplo \partial Q_1 stejné znaménko, pak \mathrm{d}S>0, jinak \mathrm{d}S. Podle Clausiovy formulace druhé hlavní věty však teplo nemůže samovolně přecházet z tělesa chladnějšího na těleso teplejší. +more Je-li tedy T_2>T_1, nemůže teplo přejít z tělesa 1 na těleso 2, a proto musí být \partial Q_1>0, tzn. \partial Q_2. Pokud však T_2, nemůže teplo přejít z tělesa 2 na těleso 1, takže musí být \partial Q_1, tedy \partial Q_2>0. V obou případech mají T_2-T_1 a \partial Q_1 stejná znaménka, což znamená, že v izolované soustavě platí :\mathrm{d}S>0.

Celková entropie izolované soustavy dvou těles různých teplot tedy roste. Jsou-li teploty dosti blízké, nebo jsou-li tělesa od sebe dostatečně dobře izolována, může být změna entropie libovolně malá. +more V takové soustavě prakticky nedochází k výměně tepla a soustava je blízká tepelné rovnováze. Děje, které probíhají v takové soustavě, lze považovat za vratné, a jejich entropie se téměř nemění. Při vratném adiabatickém ději může být tedy entropie stálá, avšak nikdy nemůže klesat.

V tepelně izolované soustavě probíhají děje adiabatické. V každé soustavě mohou z počátečního stavu vzniknout různé stavy vratnou nebo nevratnou změnou. +more Stavy, kterých soustava dosáhne nevratnou změnou, se podle druhé termodynamické věty liší od stavů při vratné změně tím, že z nich soustava sama od sebe bez vnějšího zásahu nemůže přejít zpět do výchozího stavu. Mimoto jsou zde stavy, z nichž lze počátečního stavu soustavy dosáhnout nevratnou změnou. Tyto stavy však soustava nemůže z počátečního stavu dosáhnout bez vnějšího zásahu. Odsud plyne další možné vyjádření druhé hlavní věty termodynamiky: V blízkosti každého stavu soustavy existují stavy, kterých nelze dosáhnout adiabatickým dějem. Takové stavy jsou tedy v izolované soustavě vyloučeny.

Podle Carnotovy věty je účinnost nevratného kruhového děje mezi teplotami T_1 a T_2 vždy nižší než účinnost vratného Carnotova cyklu mezi stejnými teplotami. Pokud tedy pracovní látka získá při nevratném ději teplo Q_1 a odvede teplo Q_2^\prime, bude platit :\frac{Q_2^\prime}{Q_1} > \frac{T_2}{T_1} Vydané teplo Q_2^\prime je vlastně záporné přijaté teplo, tzn. +more Q_2^\prime = -Q_2, tzn. :\frac{Q_1}{T_1} + \frac{Q_2}{T_2}.

Pokud děj neprobíhá pouze mezi dvěma teplotami, ale při spojitě se měnících teplotách, přejde předchozí součet v limitě na integrál po uzavřené cestě :\oint_{(nevrat)} \frac{\partial Q}{T} Tento vztah se obvykle zapisuje ve tvaru :\oint \frac{\partial Q}{T}\le 0, kde znaménko rovnosti platí pro vratný kruhový děj. Jde vlastně o vyjádření skutečnosti, že při libovolném kruhovém ději, při němž se teplo mění v mechanickou energii, nemohou být všechna \delta Q, která soustava přijímá, kladná, ale některá musí být také záporná. +more Část tepla tedy musí soustava odvádět, takže se všechno přijaté teplo nezužitkuje pro mechanickou energii. Pokud při nevratném ději působí tření, takže vykonaná práce je menší a v soustavě vzniká třením teplo, je třeba k dosažení výchozího stavu odvádět více tepla než při vratném kruhovém ději, což je vyjádřeno znaménkem nerovnosti.

Pokud se entropie procesu zvyšuje, je tento proces nevratný (ireverzibilní). Pokud zůstává konstantní, je tento proces vratný (reverzibilní), jako například u ideálního Carnotova kruhového děje.

Celková entropie uzavřeného systému se nemůže nikdy zmenšit. V přírodě tedy všechny děje směřují do více neuspořádaného stavu. +more Stejně tak roste entropie ve vesmíru. Dle předpokladů L. Boltzmana se jeví jako nejpravděpodobnější konečný stav vyrovnání pohybových energií molekul. To znamená, že by se konečné hodnoty entropie ve vesmíru dosáhlo tehdy, kdyby se vyrovnaly veškeré teplotní rozdíly (tepelná smrt vesmíru).

Růst entropie lze pozorovat i v mikroskopickém měřítku.

Informační entropie

Informační entropie velmi úzce souvisí s termodynamickou entropií, ačkoliv toto spojení se ukázalo být zřejmé až po mnoha letech nezávislého studia termodynamické entropie a informační entropie. Často je také nazývána Shannonovou entropií po Claude Elwoodovi Shannonovi, který zformuloval mnoho klíčových poznatků teoretické informatiky. +more Obecně pro systém s konečným počtem možných stavů S\in\{s_1,s_2,. ,s_n\}, n a pravděpodobnostní distribucí P(s_i) je informační entropie definována jako střední hodnota: :H(S)=-\sum_{i=1}^n P(s_i)\log_{2}P(s_i) Zde se formálně definuje, že 0\cdot \log_{2}0\equiv 0.

Entropie je maximální pro rovnoměrné rozložení P(s_i)=\frac{1}{n} \mbox{ pro } \forall{i}: :H(S)=-\sum_{i=1}^n \frac{1}{n}\log_{2}\frac{1}{n}=-\log_{2}\frac{1}{n}=\log_{2}n, a minimální pro zcela deterministický systém \exists P(s_k)=1\mbox{ a }P(s_i)=0 \mbox{ pro } \forall{i} \neq k: :H(S)=-\sum_{i=1}^n P(s_i)\log_{2}P(s_i)=-\log_{2}1 = 0.

Stručně řečeno je entropie střední hodnota informace jednoho kódovaného znaku. Míra entropie souvisí s problematikou generování sekvence náhodných čísel (případně pseudonáhodných čísel), protože sekvence naprosto náhodných čísel by měla mít maximální míru entropie. +more Shannonova entropie také tvoří limit při bezeztrátové kompresi dat, laicky řečeno komprimovaná data nelze beze ztráty informace „zhustit“ více, než dovoluje jejich entropie.

Jako jistou míru vzdálenosti mezi dvěma rozděleními pravděpodobnosti lze definovat relativní entropii a to následovně: nechť p = p(x) a q = q(x) jsou dvě rozdělení pravděpodobnosti na množině \scriptstyle \mathcal{X} a q(x) > 0 pro všechna \scriptstyle x \in \mathcal{X}. Pak relativní entropii rozdělení p a q definujeme jako :D(p\|q) = D(p(x) \| q(y)) = \sum_{x \in \mathcal{X}} p(x) \log \frac{p(x)}{q(x)}.

Odvození entropie

Podobně jako ve fyzice lze vztah pro entropii odvodit kombinatoricky s použitím Stirlingova vzorce (na levé straně vzorce je počet možných textů nad nějakou abecedou vzhledem k nějakému diskrétnímu pravděpodobnostnímu rozdělení):

\log \sqrt[N]{N \choose n_1,\ldots,n_k} \approx -\sum_{i=1}^k p_i\log p_i

kde n_i je počet výskytů i-tého znaku a N délka textu.

Odkazy

Reference

Související články

Informační entropie * Entropie aktivace

Externí odkazy

Kategorie:Termodynamika Kategorie:Statistická mechanika Kategorie:Informace Kategorie:Informatika Kategorie:Teorie informace