Двунаправленная ассоциативная память

Память человека часто является ассоциативной; один предмет напомина&# 414f515e 1077;т нам о другом, а этот другой о третьем. Если позволить нашим мыслям, они будут перемещаться от предмета к предмету по цепочке умственных ассоциаций. Кроме того, возможно использование способности к

Двунаправленная ассоциативная память (ДАП) является гетероассоциативной; входной вектор поступает на один набор нейронов, а соответствующий выходной вектор вырабатывается на другом наборе нейронов. Как и сеть Хопфилда, ДАП способна к обобщению, вырабатывая правильные реакции, несмотря на искаженные входы. Кроме того, могут быть реализованы адаптивные версии ДАП, выделяющие эталонный образ из зашумленных экземпляров. Эти возможности сильно напомина&# 414f515e 1102;т процесс мышления человека и позволяют искусственным нейронным сетям сделать шаг в направлении моделирования мозга.

W W^t F.

(7.1)

В = F(AW), (7.2)

1, W - матрица весов связей между слоями F

A = F(BW^t) (7.3)

W^t является транспозицией матрицы W.

OUT_i i, NET_i - i l

l

OUT_i(n+ NET_i(n)>0,

OUT_i(n+l) = 0, NET_i(n)<0,

OUT_i(n+l) = OUT(n), NET_i n

OUT_i(n) i

W^t

W и W^t Каждый образ состоит из двух векторов: вектора A, являющегося выходом слоя 1, и вектора B, ассоциированного образа, являющегося выходом слоя A A B B воздействует через транспонированную матрицу W^t A

соответствует точка, «вдавленная» в направлении поверхности стола. Рис. 7.2 иллюстрирует данную аналогию с одним запомненным образом. Данный процесс формирует минимум гравитационной энергии в каждой точке, соответствующей запомненному образу, с соответствующим искривлением поля притяжения в направлении к данной точке. Свободно движущийся мяч попадает в поле притяжения и в результате будет двигаться в направлении энергетического минимума, где и остановится.

A B B

Предположим, что требуется обучить сеть с целью запомина&# 414f515e 1085;ия трех пар двоичных векторов, причем векторы A_{i i}

W = A'₁^t B'₁ + A'₂^t B'₂ + A'₃^t B'₃

b_i o_i >

b_i o_i <

b_i o_i

B'₁ = (0,0,1),

W^t

A

A с использованием матрицы W производит выходной вектор B B с использованием матрицы W^t A

A B A

W W=W^t

L векторов выбраны случайно и представлены в указанной выше форме, и если L меньше чем n/(2 1og₂ 1024, тогда L должно быть меньше 51. Если все образы должны восстанавливаться, L должно быть меньше re/(4 1og₂ то есть меньше 25. Эти, скорее озадачивающие, результаты показывают, что большие системы могут запомина&# 414f515e 1090;ь только умеренное количество ассоциаций.

ⁿ

OUT_i(n+l) = l, NET_i(n) > T_i,

OUT_i(n+l) = l, NET_i(n) < T_i,

OUT_i(n+l) = OUT_i(n), NET_i(n) = T_i,

OUT_i(t) i t.

Посредством выбора соответствующего порога для каждого нейрона количество стабильных состояний может быть сделано любым в диапазоне от 1 до 2, где п есть количество нейронов в меньшем слое. К сожалению, эти состояния не могут быть выбраны случайно; они определяются жесткой геометрической процедурой. Если пользователь выбирает L состояний случайным образом, причем L меньше 0,68)n²/², и если каждый вектор имеет 4 log₂n L

В работах [2-5] показано, что сигмоида является оптимальной функцией активации благодаря ее способности усиливать низкоуровневые сигналы, в то же время сжимая дина&# 414f515e 1084;ический диапазон нейронов. Непрерывная ДАП может иметь сигмоидальную функцию с величиной l

δw_ij = η^*(OUT_i OUT_j),

δw_ij i j W W^t, OUT_i i

Cohen M., Grossberg S. 1983. Absolute stability of global pattern formation and parallel memory storage by competitive neural networks. IEE Transactions on Systems, Man, and Cybernetics SMC-13:815-926.

Grossberg S. 1973. Contour enhancement, short term memory, and constancies in reverberating neural networks. Studies in Applied Mathematics 52:217-57.

Grossberg S. 1976. Adaptive pattern classification and universal recording, 1: Parallel development and coding of neural feature detectors. Biological Cibernatics 23:187-202.

Grossberg S. 1978. A theory of human memory: Self-organization and performance of sensory-motor codes, maps, and plans. In Progress in theoretical biology, vol. 5, ed. R. Rosen and F. Shell. New lork: Academic Press.

Grossberg S. 1980. How does the brain build a cognitive code? Psychological Review 1:1-51.

Grossberg S. 1982. Studies of mind and brain. Boston: Reidel Press.

Haines K., Hecht-Nielsen R. 1988. А ВАМ with increased information storage capacity. Proceedings of the IEEE International Conference on Neural Networks, vol. 1, pp. 181-190. San Diego, CA:SOS Printing.

Hebb D. O. 1949. The organization of behavior. New lork: Wiley.

Kosko B. (1987a). Bi-directional associative memories. IEEE Transactions on Systems, Man and Cybernetics 18(1):49-60.

Kosko B. (1987b). Competitive adaptive bi-directional associative memories. In Proceedings of the IEEE First International Conference on Neural Networks, eds. M.Caudill and C.Butler, vol. 2, pp. 759-66. San Diego, CA:SOS Printing.

Kosko B. (1987с). Constructing an associative memory. Byte, September, pp. 137-44.

Kosko В., Guest С. 1987. Optical bi-directional associative memories. Sosiety for Photo-optical and Instrumentation Engineers Proceedings: Image Understanding 758:11-18.

McEliece R. J., Rosner E. G. Rodemich E. R., Venka-tesh S. S. 1987. The capacity of Hopfield associative memory. IEEE Transactions on Information Theory IT-33:461-82.