Bidirektní asociativní paměť

Technology

12 hours ago

Author

Architektura bidirektní paměti Bidirektní asociativní paměť, anglicky značeno Bidirectinoal Associative Memory (BAM), je dvouvrstvá rekurentní neuronová síť popularizovaná Bartem Koskem v roce 1988 se skokovou bipolární přenosovou funkcí, pracující jako heteroasociativní paměť, do které se ve fázi učení (učení s učitelem) uloží bipolární vzory a jim odpovídající bipolární obrazy obsažené v trénovacích datech. Tyto vzory, pokud se částečně poškodí a síti znovu předloží, tentokrát ve fázi vybavování, dokáže síť správně vyhodnotit. Během vybavování uloženého vzoru z paměti probíhá v síti rekurentní proces, tj. síť se snaží zaujmout stav s lokálně minimální energií, tj. výchozí stav padá do lokálního energetického minima (atraktoru) na dně oblasti jeho gradientního spádu, kde se nalézá uložený vzor spolu se svým obrazem. Funkce sítě pak bipolárnímu vstupu sítě, ležícímu dostatečně blízko nějakému vzoru, nalezením stability mezi oscilujícími stavy vstupní a výstupní vrstvy, tzv. rezonancí, přiřadí jeho heteroasociaci, tj. jeho obraz. Během učení sítě však vznikají ale i tzv. falešné atraktory (poutače), tj. pokud je vzor více poškozen, může se výchozí stav sítě dostat do oblasti falešného atraktoru a síť si vybaví z paměti něco, s čím se během učení nesetkala. S počtem vzorů v trénovacích datech roste během učení i počet falešných atraktorů, tj. trénovací data nesmí obsahovat příliš velké množství vzorů a jim odpovídajících obazů, kapacita paměti sítě je tak omezena.

Energetická funkce stavu sítě má tvar:

: E\;=\;-\sum\limits^{m}_{j=1} \sum\limits^{n}_{i=1} y_{i} w_{ij} y_{j} \ \ \ \ \ tj. po naučení sítě např. pro n=m: \ \ \ \ \ E\;=\;-\frac{1}{2}\;n\;\boldsymbol y\;\boldsymbol y_{p}

kde je:

: n počet neuronů vstupní vrstvy, : m počet neuronů výstupní vrstvy, : y_{i} stav neuronu vstupní vrstvy, : w_{ij} váha vazby vstupního neuronu s výstupním, : y_{j} stav neuronu výstupní vrstvy, : \boldsymbol y vektor stavů neuronů (stav) sítě, : \boldsymbol y_{p} ortogonální projekce stavu sítě do nadroviny generované učícími vzory spolu s jejich obrazy,

tj. vektor výchozího stavu sítě padá během rekurentního procesu vybavování stavu sítě z paměti do nadroviny generované dostatečně odlišitelnými (ortogonálními) bipolárními učícími vzory a obrazy do lokálního minima energetické funkce, kde splyne se svou ortogonální projekcí.