Распознавание цифр с помощью сетей Хопфилда

Показано, что асинхронная НСХ всегда сходится к устойчивым точкам, а аттракторами синхронной НСХ являются устойчивые стационарные точки и предельные циклы длины два. Таким образом НСХ из начального состояния сходится к ближайшему локальному минимуму энергии сети, состояние нейронов в котором и будет восстановленным образом для задач распознавания, и решением - для оптимизационных задач. Для поиска глобального минимума применительно к оптимизационным задачам используют стохастические модификации НСХ.

 

           2.1.4 Самоорганизующиеся нейронные сети Кохонена

 

Самоорганизующиеся нейронные  сети Кохонена (СНСК) обеспечивают топологическое упорядочивание входного пространства образов. Они позволяют топологически непрерывно отображать входное n-мерное пространство в выходное m-мерное.

Нейронная сеть с радиально-базисной функцией (НСРБФ) является дальнейшим развитием НС Кохонена, в которой после конкурентного слоя добавлен ещё один слой, обучаемый по методу обратного распространения. В отличие от НС Кохонена в НСРБФ выходами нейронов конкурентного слоя являются значения функции Гаусса с нормальным законом распределения, и обнуление не победивших нейронов не требуется. Ширина радиально-базисной функции характеризует расстояние между центром кластера, который образуется каждым нейронным элементом и его ближайшими соседями.

 

                                          2.1.5  Когнитрон

 

Когнитрон своей архитектурой похож на строение зрительной коры, имеет иерархическую многослойную организацию, в которой нейроны между слоями связаны только локально. Обучается конкурентным обучением (без учителя). Каждый слой мозга реализует различные уровни обобщения; входной слой чувствителен к простым образам, таким, как линии, и их ориентации в определенных областях визуальной области, в то время как реакция других слоев является более сложной, абстрактной и независимой от позиции образа. Аналогичные функции реализованы в когнитроне путем моделирования организации зрительной коры.

Неокогнитрон является дальнейшим развитием идеи когнитрона и более точно отражает строение зрительной системы, позволяет распознавать образы независимо от их преобразований, вращений, искажений и изменений масштаба. Неокогнитрон может, как самообучаться, так и обучаться с учителем. Неокогнитрон получает на входе двумерные образы, аналогичные изображениям на сетчатой оболочке глаза, и обрабатывает их в последующих слоях аналогично тому, как это было обнаружено в зрительной коре человека. Конечно, в неокогнитроне нет ничего, ограничивающего его использование только для обработки визуальных данных, он достаточно универсален и может найти широкое применение как обобщенная система распознавания образов.  

В зрительной коре были обнаружены узлы, реагирующие на такие элементы, как линии и углы определенной ориентации. На более высоких уровнях  узлы реагируют на более сложные  и абстрактные образы такие, как  окружности, треугольники и прямоугольники. На еще более высоких уровнях  степень абстракции возрастает до тех  пор, пока не определятся узлы, реагирующие  на лица и сложные формы. В общем  случае узлы на более высоких уровнях  получают вход от группы низкоуровневых узлов и, следовательно, реагируют  на более широкую область визуального  поля. Реакции узлов более высокого уровня менее зависят от позиции и более устойчивы к искажениям.

Когнитрон является мощным средством распознавания изображений, однако требует высоких вычислительных затрат, которые на сегодняшний день недостижимы.

В искусственных нейронных  сетях, как и в мозгу, все вычисления происходят параллельно, и тем самым, очень быстро. В реальности нейронные  сети моделируются на обычных последовательных компьютерах и работают довольно медленно, поэтому на количестве вершин и ребер сети приходится экономить. В 80-е годы на волне повышенного  интереса к параллельным вычислениям  были созданы и вполне действующие  аппаратные реализации нейронных сетей.

 

                                 3 Распознавание образов

 

Нейронные сети не программируются  в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ  нейронных сетей перед традиционными  алгоритмами. Технически обучение заключается  в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные  зависимости между входными данными  и выходными, а также выполнять  обобщение. Это значит, что, в случае успешного обучения, сеть сможет вернуть  верный результат на основании данных, которые отсутствовали в обучающей  выборке.

 

 

 

 

 

 

                    3.1 Подготовка и нормализация данных

 

Исходные данные преобразуются  к виду, в котором их можно подать на входы сети. Каждая запись в файле  данных называется обучающей парой  или обучающим вектором. Обучающий  вектор содержит по одному значению на каждый вход сети и, в зависимости  от типа обучения (с учителем или  без), по одному значению для каждого  выхода сети. Обучение сети на «сыром»  наборе, как правило, не дает качественных результатов. Существует ряд способов улучшить «восприятие» сети.

Нормировка выполняется, когда на различные входы подаются данные разной размерности. Например, на первый вход сети подается величины со значениями от нуля до единицы, а  на второй — от ста до тысячи. При  отсутствии нормировки значения на втором входе будут всегда оказывать  существенно большее влияние  на выход сети, чем значения на первом входе. При нормировке размерности  всех входных и выходных данных сводятся воедино.

 

      4 Важнейшие свойства биологических нейросетей

 

1. Параллельность обработки  информации. Каждый нейрон формирует  свой выход только на основе  своих входов и собственного  внутреннего состояния под воздействием  общих механизмов регуляции нервной  системы.

2. Способность к полной  обработке информации. Все известные  человеку задачи решаются нейронными  сетями. К этой группе свойств  относятся ассоциативность (сеть  может восстанавливать полный  образ по его части), способность  к классификации, обобщению, абстрагированию  и множество других. Они до  конца не систематизированы.

3. Самоорганизация. В процессе  работы биологические НС самостоятельно, под воздействием внешней среды,  обучаются решению разнообразных  задач. Неизвестно никаких принципиальных  ограничений на сложность задач, решаемых биологическими нейронными сетями. Нервная система сама формирует алгоритмы своей деятельности, уточняя и усложняя их в течение жизни. Еще не создано систем, обладающих самоорганизацией и самоусложнением. Это свойство НС рождает множество вопросов, т.к. каждая замкнутая система в процессе развития упрощается, деградирует. Следовательно, подвод энергии к нейронной сети имеет принципиальное значение.

4. Биологические НС являются  аналоговыми системами. Информация  поступает в сеть по большому  количеству каналов и кодируется  по пространственному принципу: вид информации определяется  номером нервного волокна, по  которому она передается. Амплитуда  входного воздействия кодируется  плотностью нервных импульсов,  передаваемых по волокну.

5. Надежность. Биологические  НС обладают большой надежностью:  выход из строя даже 10% нейронов  в нервной системе не прерывает  ее работы. По сравнению с последовательными ЭВМ, основанными на принципах фон Неймана, где сбой одной ячейки памяти или одного узла в аппаратуре приводит к краху системы.

 

             5 Свойства современных искусственных НС

 

1. Обучаемость. Выбрав одну из моделей НС, создав сеть и выполнив алгоритм обучения, можно обучить сеть решению задачи. Нет никаких гарантий, что это удастся сделать при выбранных сети, алгоритме и задаче, но если все сделано правильно, то обучение бывает успешным.

2. Способность к обобщению.  После обучения сеть становится  нечувствительной к малым изменениям  входных сигналов (шуму или вариациям  входных образов) и дает правильный  результат на выходе.

3. Способность к абстрагированию.  Если предъявить сети несколько  искаженных вариантов входного  образа, то сеть сама может  создать на выходе идеальный  образ, с которым она никогда  не встречалась.

 

          6 Параллельность обработки и реализуемость НС

 

Быстродействие современных  ЭВМ составляет около 100 Mflops (flops  операция с плавающей запятой в секунду). В мозгу содержится примерно 10^11 нейронов. Время прохождения одного нервного импульса около 1 мс, и можно считать, что производительность одного нейрона порядка 10 flops. Эквивалентное быстродействие мозга составит 10^11 * 10 = 10^12 flops. Если рассмотреть задачи, решаемые мозгом, и подсчитать требуемое количество операций для их решения на обычных ЭВМ, то получим оценку быстродействия до 10^12..10^14 flops. Разница в производительности между обычной ЭВМ и мозгом — 4..6 порядков. Во многом этот выигрыш обусловлен параллельностью обработки информации в мозге. Следовательно, для повышения производительности ЭВМ необходимо перейти от принципов фон Неймана к параллельной обработке информации. Тем не менее, параллельные компьютеры пока не получили распространения по нескольким причинам:

1. Тирания межсоединений. Каждый процессор в параллельной системе связан с большим количеством других. Количество связей занимает намного больший объем, чем сами процессоры.

Такая плотность связей не реализуется в обычных интегральных схемах.

2. Трехмерность структуры связей между процессорами. Существуют различные типы связности процессоров в параллельной системе. Обычно требуются трехмерные связи. Технологически такие связи пока невыполнимы.

3. Сложность программирования. Пока не создано единых способов программирования параллельных ЭВМ и средств для написания программ.

Несмотря на перспективность  параллельных ЭВМ и, в частности, нейронных сетей, для их создания нет элементной базы. Поэтому, вместо моделирования НС на параллельных машинах, большая часть исследований проводится двумя способами:

1) моделирование НС на  обычных последовательных ЭВМ;

2) создание специализированных  нейроплат и нейропроцессоров для ускорения работы ЭВМ с нейронными сетями.

Первый способ дает проигрыш в быстродействии даже по сравнению  с обычной ЭВМ, а второй способ не позволяет переходить от одной модели нейросети к другой, т.к. модель определяется используемой нейроплатой или нейропроцессором, и требуется сменить нейропроцессор, чтобы сменить модель.

Попытки использовать оптические, химические, биологические и другие технологии для создания НС, несмотря на перспективность, пока не имеют практического  применения.

 

7 Место нейронных сетей среди других методов решения задач

 

Нейронные сети превосходят  последовательные машины в решении тех же задач, в которых машину превосходит человек. Задачи, требующие большого объема вычислений или высокой точности лучше выполняются обычной ЭВМ.

К задачам, успешно решаемым НС на данном этапе их развития относятся:

— распознавание зрительных, слуховых образов; огромная область применения: от распознавания текста и целей на экране радара до систем голосового управления;

— ассоциативный поиск  информации и создание ассоциативных моделей; синтез речи; формирование естественного языка;

— формирование моделей  и различных нелинейных и трудно описываемых математически систем, прогнозирование развития этих систем во времени:

применение на производстве; прогнозирование развития циклонов и других природных процессов, прогнозирование изменений курсов валют и других финансовых процессов;

— системы управления и  регулирования с предсказанием; управление роботами, другими сложными устройствами

— разнообразные конечные автоматы: системы массового обслуживания и коммутации,  телекоммуникационные системы;

— принятие решений и  диагностика, исключающие логический вывод; особенно в областях, где отсутствуют четкие математические модели: в медицине, криминалистике, финансовой сфере;

Уникальное свойство нейросетей — универсальность. Хотя почти для всех перечисленных задач существуют эффективные математические методы решения и несмотря на то, что НС проигрывают специализированным методам для конкретных задач, благодаря универсальности и перспективности для решения глобальных задач, например, построения ИИ и моделирования процесса мышления, они являются важным направлением исследования, требующим тщательного изучения.

 

                                     8 Сети Хопфилда

 

  Сети Хопфилда – это нейронные сети с обратными связями, причем выход каждого нейрона связывается со входами всех остальных нейронов. Так как сети с обратными связями имеют пути, передающие сигналы от выходов к входам, то отклик таких сетей является динамическим, т. е. после приложения нового входа вычисляется выход и, передаваясь по сети обратной связи, модифицирует вход. Затем выход повторно вычисляется, и процесс повторяется снова и снова. Для устойчивой сети последовательные итерации приводят к все меньшим изменениям выхода, пока в конце концов выход не становится постоянным. Для многих сетей процесс никогда не заканчивается, такие сети называют неустойчивыми. Неустойчивые сети обладают интересными свойствами и изучались в качестве примера хаотических систем. Дж. Хопфилд сделал важный вклад как в теорию, так и в применение систем с обратными связями. Поэтому некоторые из конфигураций известны как сети Хопфилда. Возьмем частный случай нейросетевой архитектуры, для которой свойства устойчивости подробно исследованы. На рис.2 показана сеть с обратными связями, состоящая из двух слоев. Способ представления несколько отличается от использованного в работе Хопфилда и других сходных, но эквивалентен им с функциональной точки зрения. Нулевой слой не выполняет вычислительной функции, а лишь распределяет выходы сети обратно на входы. Каждый нейрон первого слоя вычисляет взвешенную сумму своих входов, давая сигнал NET, который затем с помощью нелинейной функции F преобразуется в сигнал OUT. Эти операции сходны с нейронами других сетей.