Применение нейронной сети Хопфилда для формирования ассоциативной памяти

Аннотация. Данная статья посвящена вопросу распознавания образов при помощи нейросетевых технологий. В частности, анализ применения нейронной сети Хопфилда для формирования ассоциативной памяти.

Ключевые слова: нейронная сеть, ассоциативная память.

Введение.

Нейронные сети представляют большой интерес для ученых на сегодняшний день. Системы технического зрения несомненно отстают в области распознавания образов от зрительного аппарата человека вкупе с его нейронной системой. Несмотря на явные преимущества искусственных нейронных сетей, они обладают существенным рядом проблем. Например, не всегда понятно, как подойти к вопросу обучения такой сети.

Исследование.

Нейронная сеть Хопфилда состоит из единственного слоя нейронов, число которых определяет число входов и выходов сети. При этом сеть является полносвязной - выход каждого нейрона соединен с входами остальных нейронов по принципу «со всех на все». По сути, сеть Хопфилда показывает, каким образом может быть организована память в сети из элементов, которые не являются надежными.

Рис. 1.1 Пример сети Хопфилда.

Каждый нейрон может находиться в одном их двух состояний: , где +1 соответствует «возбуждению» нейрона, а -1 «торможению».

Нелинейный, пороговый характер функционирования нейрона отражает дискретность его состояний. В нейрофизиологии такой принцип известен, как «Все или ничего». Динамика состояния во времени i-го нейрона в сети из N нейронов описывается дискретной динамической системой:

где H_i,j – матрица весовых коэффициентов, описывающих взаимодействие дендритов i-го нейрона с аксонами j-го нейрона.

Стоит отметить, что случаи  H_i,j=0, i=1,...,N и Σ^N_j=1 = H_i,jy_i = 0 не рассматриваются.

Алгоритм обучения сети Хопфилда существенно отличается от алгоритма обратного распространения ошибки. Вместо последовательного приближения к нужному состоянию с промежуточной коррекцией весов, все коэффициенты рассчитываются по одной формуле и за один шаг, после этого сеть будет готова к работе. Вычисление коэффициентов подчиняется правилу: для всех запомненных образов x_i матрица весов H_i,j должна удовлетворять уравнению: x_i = H_i,jx_i.

Обучение сети Хопфилда выходным образам ςⁱⁿ_μ сводится к вычислению значений элементов матрицы H_i,j. Формально можно описать процесс обучения следующим образом: пусть необходимо обучить нейронную сеть распознавать M образов, обозначенных {ςⁱⁿ_μ,μ = 1,...M} Входной образ  представляет собой:  где ς' шум, наложенный на исходный образ ςⁱⁿ_μ Фактически обучение нейронной сети – определение нормы в пространстве образов . Тогда очистку входного образа от шума можно описать как минимизацию этого выражения.

Важной характеристикой нейронной сети является отношение числа ключевых образов M, которые могут быть запомнены к числу нейронов сети N:α = M/N. Для сети Хопфилда значение α не больше 0.15.

Вычисление квадратной матрицы размера для ключевых образов производится по правилу Хебба:

Сеть Хопфилда не использует обучение без учителя – необходима априорная информация о том, к каким классам относятся входные примеры. Сеть скорее является оптимизирующей и выполняет задачу восстановления образов по их искаженным оригиналам.

Для сетей Хопфилда характерны ограничения:

• Относительно небольшое число запоминаемых образов (порядка 0.15n где n – число входов).

• Достижение устойчивого состояния не гарантирует правильный отклик сети из-за того, что сеть может сойтись к ложным аттракторам.

Результаты и комментарии к ним.

Пример реализации нейронной сети Хопфилда, формирующей ассоциативную память представлен ниже.

Распознаем образы букв: «К», «П», «Т». Представим их в виде «битовых полей» размером 7х7. Имеем три эталонных образа:

Сеть будет строиться на вычислении коэффициентов весов. После того, как сеть обучена по установленным образцам мы подадим ей на вход некий вектор и запросим определить, что это.

На вход подается измененная форма:

Спустя 94 итерации эталонная форма определена:

Очевидно, что измененный образ буквы «К» был с успехом распознан. Если повторить распознавание несколько раз, то можно заметить, что каждый раз количество итераций для определения образа разное. Это связано с тем, что нейрон для обновления при каждом цикле выбирается случайным образом.

Теперь на вход приходит образ, похожий одновременно на буквы «П» и «Т».

Однако запустив ее заново, можно увидеть, что за 116 итераций в новом опыте буква все-таки распозналась. Это оказалась «П», так как исходный образ был похож на нее больше, чем на «Т»:

Заключение.

На основании проведенных исследований необходимо отметить, с одной стороны отсутствие проблем с обучением сети Хопфилда при наличии априорной информации о классах объектов, а с другой – достижение устойчивого состояния не гарантирует правильный отклик сети из-за того, что сеть может сойтись к ложным аттракторам (состояние нейронной сети Хопфилда в таком случае является устойчивым, но не дает правильного восстановления образа, при этом сеть может выдать ложный образ, который обычно представляет собой комбинацию фрагментов нескольких образов).

Список литературы.

1. Тархов Д.А. Нейронные сети. Модели и алгоритмы/ Д.А. Тархов – М.: Радиотехника, 2005. – 256 стр.

2. Richard M.D., Lippman R.P., Neural network classifiers estimate Bayesian discriminant function, Neural Computation Concepts and Theory, 1991, vol 3, pp 461-482.

3. Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ./ Саймон Хайкин. – М.: ООО «И.Д. Вильямс», 2006. – 1104 стр.

4. Specht, D. The General Regression Neural Network - Rediscovered. Neural Networks, 1993, V.6, pp.1033-1034.

5. Комарцова Л.Г., Максимов А.В., Нейрокомпьютеры/ Л.Г. Комарцова - М.: Изд-во МГТУ им. Баумана, 2004. – 400 стр.