Cesko.wiki Adaptivní rezonanční teorie
Author
Albert Floresschéma ART sítě Adaptivní rezonanční teorie (Adaptive Resonance Theory, ART) je teorie, kterou vytvořili Stephen Grossberg a Gail Carpenterová a která se zabývá aspekty zpracování informací v mozku. Popisuje řadu modelů neuronových sítí, které využívají metody učení s učitelem i učení bez učitele a řeší problémy, jako je rozpoznávání vzorů. Hlavní intuice modelu ART spočívá v tom, že identifikace a rozpoznávání objektů obecně probíhá jako výsledek interakce očekávání pozorovatele „shora dolů“ se smyslovými informacemi „zdola nahoru“. Model předpokládá, že očekávání „shora dolů“ mají podobu paměťové šablony nebo prototypu, který je následně porovnáván se skutečnými vlastnostmi objektu zjištěnými smysly. Toto porovnání vede k míře kategoriální příslušnosti. Dokud tento rozdíl mezi vjemem a očekáváním nepřekročí stanovenou hranici nazývanou „parametr bdělosti“, bude vjemový objekt považován za příslušníka očekávané třídy. Systém tak nabízí řešení problému „plasticity/stability“, tj. problému získávání nových znalostí bez narušení stávajících znalostí, kterému se také říká inkrementální učení.
Modifikace ART
ART 1 je nejjednodušší variantou sítí ART, která přijímá pouze binární vstupy.
ART 2 rozšiřuje možnosti sítě o podporu spojitých vstupů.
ART 2-A je zjednodušená forma ART-2 s výrazně zrychlenou dobou běhu a s kvalitativními výsledky, které jsou jen výjimečně horší než u plné implementace ART-2.
ART 3 navazuje na ART-2 simulací rudimentární neurotransmiterové regulace synaptické aktivity tím, že do rovnic systému začleňuje simulované koncentrace sodíkových (Na+) a vápníkových (Ca2+) iontů, což vede k fyziologicky realističtějšímu způsobu částečné inhibice kategorií, které spouštějí resety neshod.
ARTMAP, známý také jako prediktivní ART , kombinuje dvě mírně upravené jednotky ART-1 nebo ART-2 do struktury učení s dohledem, kde první jednotka přijímá vstupní data a druhá jednotka přijímá správná výstupní data, která se pak používají k minimální možné úpravě parametru bdělosti v první jednotce, aby se provedla správná klasifikace.
Fuzzy ART implementuje fuzzy logiku do rozpoznávání vzorů ART, čímž zvyšuje zobecnitelnost. Volitelnou (a velmi užitečnou) funkcí fuzzy ART je kódování doplňků, což je způsob, jak do klasifikace vzorů zahrnout nepřítomnost rysů, což do značné míry zabraňuje neefektivnímu a zbytečnému rozšiřování kategorií. +more Je známo, že fuzzy ART je velmi citlivý na šum.
Fuzzy ARTMAP je pouze ARTMAP využívající fuzzy jednotky ART, což vede k odpovídajícímu zvýšení účinnosti.
Zjednodušený fuzzy ARTMAP (SFAM) představuje silně zjednodušenou variantu fuzzy ARTMAP určenou pro klasifikační úlohy.
Gaussovský ART a Gaussovský ARTMAP používají Gaussovy aktivační funkce a výpočty založené na teorii pravděpodobnosti. Proto mají určitou podobnost s modely Gaussovských směsí. +more Ve srovnání s fuzzy ART a fuzzy ARTMAP jsou méně citlivé na šum. Stabilita naučených reprezentací je však snížena, což může vést k rozšiřování kategorií v otevřených učebních úlohách.
Fúzní ART a příbuzné sítě rozšiřují ART a ARTMAP na více kanálů vzorů. Podporují několik paradigmat učení, včetně učení bez dohledu, učení s dohledem a učení s posilováním.
TopoART kombinuje fuzzy ART se sítěmi pro učení topologie, jako je rostoucí neuronový plyn. Navíc přidává mechanismus redukce šumu. +more Existuje několik odvozených neuronových sítí, které rozšiřují TopoART na další paradigmata učení.
Hypersférický ART a Hypersférický ARTMAP úzce souvisí s fuzzy ART, resp. fuzzy ARTMAP. +more Protože však používají jiný typ reprezentace kategorií (konkrétně hypersféry), nevyžadují, aby byl jejich vstup normalizován na interval ⟨0,1⟩.
LAPART, tj. Laterally Primed Adaptive Resonance Theory, spojuje dva algoritmy Fuzzy ART a vytváří mechanismus pro vytváření předpovědí na základě naučených asociací. +more Spojení dvou algoritmů Fuzzy ART má jedinečnou stabilitu, která umožňuje systému rychle konvergovat k jasnému řešení. Navíc dokáže provádět logické odvozování a učení pod dohledem podobně jako fuzzy ARTMAP.
ART 1
ART 1 je dvouvrstvá rekurentní umělá neuronová síť pracující s binárními vstupy a tzv. vnořením vnitřní přenosové funkce do vnější, tj. +more vnitřní přenosovou funkci užívá tzv. Shunting model (viz Grossbergova síť) až do své stabilizace, po té se vnitřní přenosová funkce přepne na vnější přenosovou funkci ve tvaru skokové funkce, tj. stavy neuronů všech vrstev jsou pak binární. Změny potenciálů neuronů v čase probíhají mnohem rychleji než změny vah v čase, proto během adaptace vah můžeme uvažovat potenciály neuronů jako již ustálené, tj. konstantní (Fast learning). Dopředné i zpětné váhy se aktualizují současně. Kdykoli vzor a očekávání mají odpovídající shodu, jak určuje orientační subsystém, jsou obě upraveny. Tento proces shody a následné adaptace vah se označuje jako rezonance. Potenciály neuronů 1. resp. 2. resp. 0. vrstvy se v dalším značí x, y, z s indexováním i resp. j resp. žádným a vnější přenosová funkce se v dalším značí f.
Vrstva 1
Mějme Shunting model první (porovnávací) vrstvy o n neuronech pro vnitřní přenosovou lineární funkci a pro A=B=C=1 ve tvaru: :{dx\over dt} \; +x \; = \; (1-x) \; W^{+}I \; - \; (1+x) \; W^{-}f(y) kde W^{+} resp. W^{-} je jednotková matice řádu n resp. +more matice o jednotkových prvcích řádu m, pak dostaneme: :{dx_{i}\over dt}\; = \;-x_{i}\;+(1-x_{i})(I_{i}+f(y_{1})w_{1i}+. +f(y_{m})w_{mi})\;-\;x_{i}(f(y_{1})+. +f(y_{m}))\;-\;(f(y_{1})+. +f(y_{m})).
Zaprvé uvažujme nulové stavy všech neuronů druhé vrstvy, pak dostaneme Shunting model ve tvaru: :{dx_{i}\over dt}\; = \;-x_{i}\;+(1-x_{i})I_{i}\; = \;0 tj. x_{i}={I_{i}\over 1+I_{i}} tj. +more: :ad 1) pro I_{i}=0 platí x_{i}=0 a potažmo platí f(x_{i})=0 :ad 2) pro I_{i}=1 platí x_{i}={1\over 2} a potažmo platí f(x_{i})=1 tj. z ad 1) a ad 2) plyne f(x)=I.
Zadruhé uvažujme nulové stavy všech neuronů druhé vrstvy, kromě jediného k-tého neuronu s jednotkovým stavem, pak dostaneme Shunting model ve tvaru: :{dx_{i}\over dt}\; = \;-x_{i}\;+(1-x_{i})(I_{i}+w_{ki})-(x_{i}+1)\; = \;0 tj. x_{i}={I_{i}+w_{ki}-1\over 2+I_{i}+w_{ki}} tj. +more: :ad 1) z I_{i}=0\lor w_{ki}=0 plyne x_{i}\leq0 a potažmo plyne f(x_{i})=0 :ad 2) z I_{i}=1\land w_{ki}=1 plyne x_{i}>0 a potažmo plyne f(x_{i})=1 tj. z ad 1) a ad 2) plyne f(x)=I\land w_{k} kde w_{k}=[w_{k1},. ,w_{kn}].
Z výše uvedených úvah plyne, že v případě neaktivní druhé vrstvy se stav první vrstvy nastaví na předložený vzor. V případě aktivní druhé vrstvy, se stav první vrstvy nastaví na druhou vrstvou iniciovaný očekávaný vzor, tj. +more na logický součin předloženého vzoru s uvedeným váhovým vektorem.
Vrstva 2
Mějme Shunting model druhé (rozpoznávací) vrstvy o m neuronech pro vnitřní přenosovou kvadratickou funkci a pro A=B=1 a C=0 (W^{+} resp. W^{-} viz Grossbergova síť) ve tvaru: :{dy_{j}\over dt}\; = \;-y_{j}\;+(1-y_{j})(y_{j}^{2}+g_{j})\;-\;y_{j}(|y|^{2}-y_{j}^{2})\; = \;y_{j}^{2}-(1+g_{j}+|y|^{2})y_{j}+g_{j}\; = \;0 kde g_{j} představuje skalární součin stavů vstupních neuronů s vahami vstupu j-tého výstupního neuronu, neboli zisk potenciálu výstupního neuronu od vstupní (první) vrstvy, tj. +more: :g_{j}=f(x_{1})w_{1j}+. +f(x_{n})w_{nj}=f(x)w_{j} kde w_{j}=[w_{1j},. ,w_{nj}].
Zaprvé uvažujme uvedený Shunting model při zanedbání zisku potenciálu, pak ustálený potenciál neuronu dostaneme ve tvaru: :y_{j}\; = \;{1\over 2}((1+|y|^{2})\pm(1+|y|^{2})) tj. y_{j}=0 nebo y_{j}=(1+|y|^{2}) tj. +more neuron je buď inhibován na nulu nebo excitován na uvedenou hodnotu.
Vrátíme-li do předchozího zanedbaný zisk potenciálu, dostaneme ustálený stav druhé vrstvy se všemi neurony inhibovanými, kromě jediného, a to neuronu s největším ziskem potenciálu, tj. vítěz bere vše.
Zadruhé pro srovnání uvažujme uvedený Shunting model pro vnitřní přenosovou lineární funkci: :{dy_{j}\over dt}\; = \;-y_{j}\;+(1-y_{j})(y_{j}+g_{j})\;-\;y_{j}(y_{\Sigma}-y_{j})\; = \;0 tj. y_{j}={g_{j}\over g_{j}+y_{\Sigma}} kde y_{\Sigma} = y_{1}+. +more+y_{m}, pak dostáváme normalizované potenciály druhé vrstvy sítě (srovnejte se vzory normalizovanými první vrstvou Grossbergovy sítě).
Vrstva 0
Mějme Shunting model nulté (resetovací) vrstvy o jednom neuronu (Orienting subsystem ) pro A=B=C=1 ve tvaru: :{dz\over dt} \; +z \; = \; (1-z) \; W^{+}I \; - \; (1+z) \; W^{-}f(x) kde W^{+} resp. W^{-} je vektor o složkách \nu řádu n resp. +more vektor o jednotkových složkách řádu n, pak dostaneme: :{dz\over dt} \; = \; -z (1 + \nu |I|^{2} + |f(x)|^{2})\; + \; (\nu |I|^{2} - |f(x)|^{2}) \; = \; 0 tj. z \; = \; {\nu |I|^{2} - |f(x)|^{2}\over 1 + \nu |I|^{2} + |f(x)|^{2}} tj. pro \nu > {|f(x)|^{2}\over |I|^{2}} dostaneme z>0 tj. f(z)=1.
Parametr \nu (0) nazveme mírou bdělosti (Vigilance), na základě které se případně iniciuje inhibice (reset) neuronů druhé vrstvy po dobu, dokud nedojde k odpovídající shodě mezi binárním vstupem I a binárním očekáváním f(x) na první vrstvě o n neuronech. Z neuronu nulté vrstvy vedou vazby do neuronů druhé vrstvy o hodnotě váhy -1. +more Resetovací signál tedy způsobí inhibici vítězného neuronu druhé vrstvy a umožní tak jinému neuronu druhé vrstvy vyhrát soutěž.
Dopředné učení
Pro dopředné učení platí instar učící pravidlo modifikované o analogii Shunting modelu pro A=B=1, C=0 a W^{+} resp. W^{-} viz Grossbergova síť: :{dw_{ij}\over dt}\; = \;y_{j}\;((1-w_{ij})cf(x_{i})\;-\;w_{ij}(f(x_{1})+. +more+f(x_{n})-f(x_{i})))\; = \;0 tj. w_{ij}={cf(x_{i})\over cf(x_{i})+|f(x)|^{2}-f(x_{i})} tj. : :ad 1) z f(x_{i})=0 plyne w_{ij}=0 :ad 2) z f(x_{i})=1 plyne w_{ij}={c\over c+|f(x)|^{2}-1}\leq1, tj. pro |f(x)|^{2}=1 dostaneme w_{ij}=1 tj. z ad 1) a ad 2) plyne pro c>0, že váha w_{ij} se pohybuje v rozmezí od nuly k jedné včetně, tj. modifikací učícího pravidla o analogii Shunting modelu jsme docílili normalizace ustálených dopředných vah.
Zpětné učení
Pro zpětné učení platí outstar učící pravidlo viz Grossbergova síť: :{dw_{ji}\over dt}+f(y_{j})\;w_{ji}\; = \;f(y_{j})\;f(x_{i}) tj. pro ustálenou hodnotu váhy dostaneme w_{ji}\; = \;f(x_{i}) tj. +more ustálená váha w_{ji} nabývá hodnoty nula nebo jedna.