Hopfieldova neuronová síť

Technology

12 hours ago

Author

Hopfieldova síť se čtyřmi uzly Hopfieldova síť, anglicky značeno Hopfiel network či Hopfiel (Auto-)Associative Memory (HAM), je jednovrstvá rekurentní umělá neuronová síť s plně vzájemně propojenými neurony popularizovaná Johnem Hopfieldem v roce 1982. Hopfieldovy sítě, tj. disktrétní resp. spojité, slouží k filtraci šumu resp. optimalizaci vybraných problémů. Hopfieldovy sítě také poskytují model pro pochopení lidské paměti.

Diskrétní Hopfieldova síť

Diskrétní Hopfieldova síť je jednovrstvá rekurentní neuronová síť se skokovou bipolární přenosovou funkcí, pracující jako autoasociativní paměť, do které se ve fázi učení (učení bez učitele) uloží bipolární vzory obsažené v trénovacích datech. Tyto vzory, pokud se částečně poškodí a síti znovu předloží, tentokrát ve fázi vybavování, dokáže síť opravit. +more Během vybavování uloženého vzoru z paměti probíhá v síti rekurentní proces, tj. síť se snaží zaujmout stav s lokálně minimální energií, tj. výchozí stav padá do lokálního energetického minima (atraktoru) na dně oblasti jeho gradientního spádu, kde se nalézá uložený vzor. Během učení sítě však vznikají ale i tzv. falešné atraktory (poutače), tj. pokud je vzor více poškozen, může se výchozí stav sítě dostat do oblasti falešného atraktoru a síť si vybaví z paměti něco, s čím se během učení nesetkala (iluze již viděného). S počtem vzorů v trénovacích datech roste během učení i počet falešných atraktorů, tj. trénovací data nesmí obsahovat příliš velké množství vzorů, kapacita paměti sítě je tak omezena.

Energetická funkce stavu sítě má tvar:

: E\;=\;-\frac{1}{2}\sum\limits^{n}_{j=1} \sum\limits^{n}_{i=1} y_{i} w_{ij} y_{j} \ \ \ \ \ tj. po naučení sítě: \ \ \ \ \ E\;=\;-\frac{1}{2}\;n\;(\boldsymbol y\;\boldsymbol y_{p}-N)

kde je:

: n počet neuronů, : N počet učících vzorů, : y_{i} stav neuronu, : w_{ij} váha vazby mezi neurony, : \boldsymbol y vektor stavů neuronů (stav) sítě, : \boldsymbol y_{p} ortogonální projekce stavu sítě do nadroviny generované učícími vzory,

tj. vektor výchozího stavu sítě padá během rekurentního procesu vybavování stavu sítě z paměti do nadroviny generované dostatečně odlišitelnými (ortogonálními) bipolárními učícími vzory do lokálního minima energetické funkce, kde splyne se svou ortogonální projekcí.

Spojitá Hopfieldova síť

Spojitá Hopfieldova síť má stejnou architekturu jako předchozí typ, pouze přenosové funkce neuronů nejsou skokové, ale spojité (sigmoida). Síť se neučí, váhy neurálních vazeb a prahy neuronů se nastaví extrakcí z objektivní funkce určením jejích příslušných parciálních derivací. +more Během vybavování výchozího stavu sítě probíhá v síti rekurentní proces, tj. síť se snaží zaujmout stav s lokálně minimální energií, během kterého postupně snižujeme hodnotu teploty (převrácená hodnota strmosti sigmoidy), tj. analogicky s metodou simulovaného žíhání tak, že ke konci rekurentního procesu vybavování se sigmoida začne limitně blížit skokové binární přenosové funkci. Taková síť (Boltzmannův stroj) pak umožňuje řešit jistou třídu optimalizačních úloh, vymezenou objektivními funkcemi ve tvaru kvadratické formy na oblasti binárních řešení, např. problém obchodního cestujícího.