Евразийский
научный
журнал

Применение нейронной сети Хопфилда для формирования ассоциативной памяти

Поделитесь статьей с друзьями:
Автор(ы): Золотин Игорь Андреевич
Рубрика: Физико-математические науки
Журнал: «Евразийский Научный Журнал №6 2016»  (июнь)
Количество просмотров статьи: 2356
Показать PDF версию Применение нейронной сети Хопфилда для формирования ассоциативной памяти

Золотин Игорь Андреевич
Национальный исследовательский
университет «МИЭТ», г. Москва
E-mail: goldin7777@gmail.com

Аннотация. Данная статья посвящена вопросу распознавания образов при помощи нейросетевых технологий. В частности, анализ применения нейронной сети Хопфилда для формирования ассоциативной памяти.

Ключевые слова: нейронная сеть, ассоциативная память.

Введение.

Нейронные сети представляют большой интерес для ученых на сегодняшний день. Системы технического зрения несомненно отстают в области распознавания образов от зрительного аппарата человека вкупе с его нейронной системой. Несмотря на явные преимущества искусственных нейронных сетей, они обладают существенным рядом проблем. Например, не всегда понятно, как подойти к вопросу обучения такой сети.

Исследование.

Нейронная сеть Хопфилда состоит из единственного слоя нейронов, число которых определяет число входов и выходов сети. При этом сеть является полносвязной - выход каждого нейрона соединен с входами остальных нейронов по принципу «со всех на все». По сути, сеть Хопфилда показывает, каким образом может быть организована память в сети из элементов, которые не являются надежными.

Рис.1.PNG

Рис. 1.1 Пример сети Хопфилда.

Каждый нейрон может находиться в одном их двух состояний: Формула 1.PNG, где +1 соответствует «возбуждению» нейрона, а -1 «торможению».

Нелинейный, пороговый характер функционирования нейрона отражает дискретность его состояний. В нейрофизиологии такой принцип известен, как «Все или ничего». Динамика состояния во времени i-го нейрона в сети из N нейронов описывается дискретной динамической системой:

Формула 2.PNG

где Hi,j – матрица весовых коэффициентов, описывающих взаимодействие дендритов i-го нейрона с аксонами j-го нейрона.

Стоит отметить, что случаи  Hi,j=0, i=1,...,N и ΣNj=1 = Hi,jyi = 0 не рассматриваются.

Алгоритм обучения сети Хопфилда существенно отличается от алгоритма обратного распространения ошибки. Вместо последовательного приближения к нужному состоянию с промежуточной коррекцией весов, все коэффициенты рассчитываются по одной формуле и за один шаг, после этого сеть будет готова к работе. Вычисление коэффициентов подчиняется правилу: для всех запомненных образов xi матрица весов Hi,j должна удовлетворять уравнению: xi = Hi,jxi.

Обучение сети Хопфилда выходным образам ςinμ сводится к вычислению значений элементов матрицы Hi,j. Формально можно описать процесс обучения следующим образом: пусть необходимо обучить нейронную сеть распознавать M образов, обозначенных inμ,μ = 1,...M} Входной образ 1.PNG представляет собой: 2.PNG где ς' шум, наложенный на исходный образ ςinμ Фактически обучение нейронной сети – определение нормы в пространстве образов 3.PNG. Тогда очистку входного образа от шума можно описать как минимизацию этого выражения.

Важной характеристикой нейронной сети является отношение числа ключевых образов M, которые могут быть запомнены к числу нейронов сети N:α = M/N. Для сети Хопфилда значение α не больше 0.15.

Вычисление квадратной матрицы размера для ключевых образов производится по правилу Хебба:

Формула 2.PNG

Сеть Хопфилда не использует обучение без учителя – необходима априорная информация о том, к каким классам относятся входные примеры. Сеть скорее является оптимизирующей и выполняет задачу восстановления образов по их искаженным оригиналам.

Для сетей Хопфилда характерны ограничения:

  • Относительно небольшое число запоминаемых образов (порядка 0.15n где n – число входов).

  • Достижение устойчивого состояния не гарантирует правильный отклик сети из-за того, что сеть может сойтись к ложным аттракторам.

Результаты и комментарии к ним.

Пример реализации нейронной сети Хопфилда, формирующей ассоциативную память представлен ниже.

Распознаем образы букв: «К», «П», «Т». Представим их в виде «битовых полей» размером 7х7. Имеем три эталонных образа:

Рис.1.PNG

Сеть будет строиться на вычислении коэффициентов весов. После того, как сеть обучена по установленным образцам мы подадим ей на вход некий вектор и запросим определить, что это.

На вход подается измененная форма:

Рис.2.PNG

Спустя 94 итерации эталонная форма определена:

Рис.3.PNG

Очевидно, что измененный образ буквы «К» был с успехом распознан. Если повторить распознавание несколько раз, то можно заметить, что каждый раз количество итераций для определения образа разное. Это связано с тем, что нейрон для обновления при каждом цикле выбирается случайным образом.

Теперь на вход приходит образ, похожий одновременно на буквы «П» и «Т».

Рис.4.PNG

Однако запустив ее заново, можно увидеть, что за 116 итераций в новом опыте буква все-таки распозналась. Это оказалась «П», так как исходный образ был похож на нее больше, чем на «Т»:

Рис.6.PNG

Заключение.

На основании проведенных исследований необходимо отметить, с одной стороны отсутствие проблем с обучением сети Хопфилда при наличии априорной информации о классах объектов, а с другой – достижение устойчивого состояния не гарантирует правильный отклик сети из-за того, что сеть может сойтись к ложным аттракторам (состояние нейронной сети Хопфилда в таком случае является устойчивым, но не дает правильного восстановления образа, при этом сеть может выдать ложный образ, который обычно представляет собой комбинацию фрагментов нескольких образов).


Список литературы.

  1. Тархов Д.А. Нейронные сети. Модели и алгоритмы/ Д.А. Тархов – М.: Радиотехника, 2005. – 256 стр.

  2. Richard M.D., Lippman R.P., Neural network classifiers estimate Bayesian discriminant function, Neural Computation Concepts and Theory, 1991, vol 3, pp 461-482.

  3. Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ./ Саймон Хайкин. – М.: ООО «И.Д. Вильямс», 2006. – 1104 стр.

  4. Specht, D. The General Regression Neural Network - Rediscovered. Neural Networks, 1993, V.6, pp.1033-1034.

  5. Комарцова Л.Г., Максимов А.В., Нейрокомпьютеры/ Л.Г. Комарцова - М.: Изд-во МГТУ им. Баумана, 2004. – 400 стр.