Адаптивная резонансная теория

Мозг человека выполняет трудную задачу обработки непрерывного потока сенсорной информации, получаемой и
646p1519g 079; окружающего мира. Из потока тривиальной и
646p1519g 085;формации он должен выделить жизненно важную информацию, обработать ее и, возможно, зарегистрировать в долговременной памяти. Понимание процесса человеческой памяти представляет собой серьезную проблему; новые образы запоминаются в такой форме, что ранее запомненные не модифицируются и не забываются. Это создает дилемму: каким образом память остается пластичной, способной к восприятию новых образов, и в то же время сохраняет стабильность, гарантирующую, что образы не уничтожатся и не разрушатся в процессе функционирования?

(APT)

APT сохраняют пластичность, необходимую для изучения новых образов, в то же время предотвращая изменение ранее запомненных образов. Эта способность стимулировала большой и
646p1519g 085;терес к APT, APT APT; математически более подготовленные читатели смогут найти изобилие теории в литературе, список которой приведен в конце главы. Нашей целью является обеспечение достаточно конкретной и
646p1519g 085;формацией, чтобы читатель мог понять основные идеи и возможности, а также провести компьютерное моделирование с целью исследования характеристик этого важного вида сетей.

APT

APT.

APT

APT APT

APT

APT,

C R C

Каждый нейрон в слое сравнения (рис. 8.2) получает три двоичных входа (0 или I): (1) компонента х_i X; (2) сигнал обратной связи R_i

G1 R C X

B_j

C

C C

l_ij r_i

G2, X G X

Как и сигнал G2, выходной сигнал G1 X R равна единице, G1

X C

C C

APT

APT

X можно рассматривать как нулевые. Тем самым сигнал G2 устанавливается в

X G1, G2 X S X

j C r_j R

APT

r_j t_{ij j} t_ij

_{j j j} P

Так как вектор R не является больше нулевым, сигнал G X P

C X P

X P C X P X C

R , G1 устанавливается в 1 и входной вектор X C P P X

X S>r T_j B_j

B_j T_j

APT

APT

APT, APT,

APT

APT:

B_j T_j r

B_j

для всех i, j,  (8.1)

L 1 (обычно L

T_j

t_ij = 1 для всех j,i. (8.2)

r r r

X G X X, равная единице, обеспечивает второй единичный вход, тем самым заставляя соответствующий нейрон слоя сравнения возбуждаться и устанавливая его выход в единицу. Таким образом, в этот момент времени вектор С идентичен вектору X.

NET_j = (B_j . C), (8.3)

_j j сравнения; в этот момент С равно X; NET_j j

F

OUT_j = 1, если NET_j>T, (8.4)

OUT_j = 0 в противном случае,

NET

G1 в нуль; правило двух третей позволяет возбуждаться только тем нейронам, которые имеют равные единице соответствующие компоненты векторов Р и X.

Блок сброса сравнивает вектор С и входной вектор X, вырабатывая сигнал сброса, когда их сходство S ниже порога сходства. Вычисление этого сходства упрощается тем обстоятельством, что оба вектора являются двоичными (все элементы либо

D - количество единиц в векторе X.

Вычислить N - количество единиц в векторе С.

S

S=N/D. (8.5)

D = 5

N = 4

S=N/D=0,8

S

_j, весовому вектору выигравшего соревнование нейрона. Таким образом, D может быть определено как количество единиц в логическом произведении векторов Т_j X

Если сходство .S выигравшего нейрона превышает параметр сходства, поиск не требуется. Однако если сеть предварительно была обучена, появление на входе вектора, не идентичного ни одному из предъявленных ранее, может возбудить в слое распознавания нейрон со сходством ниже требуемого уровня. В соответствии с алгоритмом обучения возможно, что другой нейрон в слое распознавания будет обеспечивать более хорошее соответствие, превышая требуемый уровень сходства несмотря на

G1

Неудачный поиск будет автоматически завершаться на несвязанном нейроне, так как его веса все равны единице, своему начальному значению. Поэтому правило двух третей приведет к идентичности вектора С входному вектору X, сходство S примет значение единицы и критерий сходства будет удовлетворен.

_j

_j j

(8.6)

_i - i-я компонента выходного вектора слоя сравнения; j b_ij i j L - константа > 1 (обычно 2).

_j

t_ij = с_i  для всех i, (8.7)

t_ij j в слое распознавания и нейроном i в слое сравнения.

APT

APT

APT. x _j

_{j j}

Далее предъявляется буква «В». Она также вызывает неуспешное окончание фазы поиска и распределение нового нейрона. Аналогичный процесс повторяется для буквы «Е». Затем слабо искаженная версия буквы «Е» подается на вход сети. Она достаточно точно соответствует запомненной букве «Е», чтобы выдержать проверку на сходство, поэтому используется для обучения сети. Отсутствующий пиксель в нижней ножке буквы «Е» устанавливает в 0 соответствующую компоненту вектора С, заставляя обучающий алгоритм установить этот вес запомненного образа в нуль, тем самым воспроизводя искажения в запомненном образе. Дополнительный и
646p1519g 079;олированный квадрат не изменяет запомненного образа, так как не соответствует единице в запомненном образе.

(S r

APT

APT APT. APT,

_{j j}

t_ij

_j

APT.

(8.6)

Сумма в знаменателе представляет собой количество единиц на выходе слоя сравнения. Эта величина может быть рассмотрена как «размер» этого вектора. В такой и
646p1519g 085;терпретации «большие» векторы С производят более маленькие величины весов b_ij

. В отсутствие свойства масштабирования веса b_ij t_ij

b_ij L

b_ij

b_ij APT.

для всех i, j,  (8.1)

L=2, т=5 и b_ij<1/3, произвольно установим b_ij

X

X

_i

B

B

входной вектор X В этом S , S станет равным

APT

APT.

APT APT APT

Carpenter G., Grossberg S. 1986. Neural dynamics of category learning and recognition: Attention; memory consolidation and amnesia. In Brain Structure, Learning and Memory (AAAS Symposium Series), eds. J. Davis., R. Newburgh and E. Wegman.

Carpenter G., Grossberg S. 1987. A massively parallel architecture for a self-organizing neural pattern recognition machine. Computing Vision. Graphics, and Image Processing 37:54-115.

Carpenter G., Grossberg S. 1987 ART-2: Self-organization of stable category recognition codes for analog input patterns. Applied Optics 26(23):4919-30.

Crossberg S. 1987. Competitive learning: From interactive activation to adaptive resonanse. Cognitive Science 11:23-63.

Lippman R. P. 1987. An introduction to computing with neurals nets. IEEE Transactions on Acosufics, Speech and Signal Processing, April, pp. 4-22.