Нейронная сеть для решения задачи XOR

Существует сходный метод, основанный на экспоненциальном сглаживании, который  может иметь преимущество в ряде приложений.

.

Затем вычисляется изменение веса

,

где   — коэффициент сглаживания, варьируемый в диапазоне от 0,0 до 1,0. Если   равен 1,0, то новая коррекция игнорируется и повторяется предыдущая. В области между 0 и 1 коррекция веса сглаживается величиной, пропорциональной  . По-прежнему,   является коэффициентом скорости обучения, служащим для управления средней величиной изменения веса.

Дальнейшие  алгоритмические разработки.

Многими исследователями были предложены методы улучшения и обобщения  описанного выше основного алгоритма обратного распространения. Литература в этой области слишком обширна, чтобы ее можно было здесь охватить. Кроме того, сейчас еще слишком рано давать окончательные оценки. Некоторые из этих подходов могут оказаться действительно фундаментальными, другие же со временем исчезнут. Перечислим некоторые из наиболее многообещающих разработок.

Метод ускорения сходимости алгоритма обратного распространения. Названный обратным распространением второго порядка, он использует вторые производные для более точной оценки требуемой коррекции весов. Показано, что этот алгоритм оптимален в том смысле, что невозможно улучшить оценку, даже используя производные более высокого порядка. Метод требует дополнительных вычислений по сравнению с обратным распространением первого порядка, и необходимы дальнейшие эксперименты для доказательства оправданности этих затрат.

Метод улучшения характеристик обучения сетей обратного распространения. Указывается, что общепринятый от 0 до 1 динамический диапазон входов и выходов скрытых нейронов не оптимален. Так как величина коррекции веса   пропорциональна выходному уровню нейрона, порождающего  , то нулевой уровень ведет к тому, что вес не меняется. При двоичных входных векторах половина входов в среднем будет равна нулю, и веса, с которыми они связаны, не будут обучаться! Решение состоит в приведении входов к значениям   и добавлении смещения к сжимающей функции, чтобы она также принимала значения  . Новая сжимающая функция выглядит следующим образом:

С помощью таких простых средств  время сходимости сокращается в  среднем от 30 до 50%. Это один из примеров практической модификации, существенно  улучшающей характеристику алгоритма.

Методика обратного распространения  применима и к сетям с обратными  связями, т. е. к таким сетям, у  которых выходы подаются через обратную связь на входы. Как показано, обучение в подобных системах может быть очень  быстрым и критерии устойчивости легко удовлетворяются.

Обратное  распространение было применено в широкой сфере прикладных исследований. Некоторые из них описываются здесь, чтобы продемонстрировать богатые возможности этого метода.

Фирма NEC в Японии объявила недавно, что обратное распространение было ею использовано для визуального  распознавания букв, причем точность превысила 99%. Это улучшение было достигнуто с помощью комбинации обычных алгоритмов с сетью обратного распространения, обеспечивающей дополнительную проверку.

Достигнут впечатляющий успех с Net-Talk системой, которая превращает печатный английский текст в высококачественную речь. Магнитофонная запись процесса обучения сильно напоминает звуки голоса ребенка на разных этапах обучения речи.

Обратное распространение также  использовалось в машинном распознавании  рукописных английских слов. Буквы, нормализованные  по размеру, наносились на сетку, и брались  проекции линий, пересекающих квадраты сетки. Эти проекции служили затем  входами для сети обратного распространения. Сообщалось о точности 99,7% при использовании словарного фильтра.

Обратное распространение успешно  применяется при сжатии изображений, когда образы представляются одним  битом на пиксель, что явилось  восьмикратным улучшением по сравнению  с входными данными.

Обучение многослойного персептрона.

После того, как определено число  слоев и число элементов в  каждом из них, нужно найти значения для весов и порогов сети, которые  бы минимизировали ошибку прогноза, выдаваемого  сетью. Именно для этого служат алгоритмы обучения. С использованием собранных исторических данных веса и пороговые значения автоматически корректируются с целью минимизировать эту ошибку. По сути этот процесс представляет собой подгонку модели, которая реализуется сетью, к имеющимся обучающим данным. Ошибка для конкретной конфигурации сети определяется путем прогона через сеть всех имеющихся наблюдений и сравнения реально выдаваемых выходных значений с желаемыми (целевыми) значениями. Все такие разности суммируются в так называемую функцию ошибок, значение которой и есть ошибка сети. В качестве функции ошибок чаще всего берется сумма квадратов ошибок, т.е. когда все ошибки выходных элементов для всех наблюдений возводятся в квадрат и затем суммируются. При работе с пакетом ST Neural Networks пользователю выдается так называемая среднеквадратичная ошибка (RMS) - описанная выше величина нормируется на число наблюдений и переменных, после чего из нее извлекается квадратный корень - это очень хорошая мера ошибки, усредненная по всему обучающему множеству и по всем выходным элементам.

В традиционном моделировании (например, линейном моделировании) можно алгоритмически определить конфигурацию модели, дающую абсолютный минимум для указанной ошибки. Цена, которую приходится платить за более широкие (нелинейные) возможности моделирования с помощью нейронных сетей, состоит в том, что, корректируя сеть с целью минимизировать ошибку, мы никогда не можем быть уверены, что нельзя добиться еще меньшей ошибки.

В этих рассмотрениях оказывается  очень полезным понятие поверхности  ошибок. Каждому из весов и порогов  сети (т.е. свободных параметров модели; их общее число обозначим через N) соответствует одно измерение в многомерном пространстве. N+1-е измерение соответствует ошибке сети. Для всевозможных сочетаний весов соответствующую ошибку сети можно изобразить точкой в N+1-мерном пространстве, и все такие точки образуют там некоторую поверхность - поверхность ошибок. Цель обучения нейронной сети состоит в том, чтобы найти на этой многомерной поверхности самую низкую точку.

В случае линейной модели с суммой квадратов в качестве функции ошибок эта поверхность ошибок будет представлять собой параболоид (квадрику) - гладкую поверхность, похожую на часть поверхности сферы, с единственным минимумом. В такой ситуации локализовать этот минимум достаточно просто.

В случае нейронной сети поверхность  ошибок имеет гораздо более сложное  строение и обладает рядом неприятных свойств, в частности, может иметь локальные минимумы (точки, самые низкие в некоторой своей окрестности, но лежащие выше глобального минимума), плоские участки, седловые точки и длинные узкие овраги.

Аналитическими средствами невозможно определить положение глобального  минимума на поверхности ошибок, поэтому  обучение нейронной сети по сути дела заключается в исследовании поверхности  ошибок. Отталкиваясь от случайной  начальной конфигурации весов и  порогов (т.е. случайно взятой точки  на поверхности ошибок), алгоритм обучения постепенно отыскивает глобальный минимум. Как правило, для этого вычисляется  градиент (наклон) поверхности ошибок в данной точке, а затем эта  информация используется для продвижения  вниз по склону. В конце концов алгоритм останавливается в нижней точке, которая может оказаться всего  лишь локальным минимумом (а если повезет - глобальным минимумом).

Алгоритм  обратного распространения.

Самый известный вариант алгоритма  обучения нейронной сети - так называемый алгоритм обратного распространения. Существуют современные алгоритмы второго порядка, такие как метод сопряженных градиентов и метод Левенберга-Маркара  (оба они реализованы в пакете ST Neural Networks), которые на многих задачах работают существенно быстрее (иногда на порядок). Алгоритм обратного распространения наиболее прост для понимания, а в некоторых случаях он имеет определенные преимущества. Сейчас мы опишем его, а более продвинутые алгоритмы рассмотрим позже. Разработаны также эвристические модификации этого алгоритма, хорошо работающие для определенных классов задач, - быстрое распространение и Дельта-дельта с чертой  - оба они также реализованы в пакете ST Neural Networks.

В алгоритме обратного распространения вычисляется вектор градиента поверхности ошибок. Этот вектор указывает направление кратчайшего спуска по поверхности из данной точки, поэтому если мы "немного" продвинемся по нему, ошибка уменьшится. Последовательность таких шагов (замедляющаяся по мере приближения к дну) в конце концов приведет к минимуму того или иного типа. Определенную трудность здесь представляет вопрос о том, какую нужно брать длину шагов.

При большой длине шага сходимость будет более быстрой, но имеется  опасность перепрыгнуть через решение  или (если поверхность ошибок имеет  особо вычурную форму) уйти в неправильном направлении. Классическим примером такого явления при обучении нейронной сети является ситуация, когда алгоритм очень медленно продвигается по узкому оврагу с крутыми склонами, прыгая с одной его стороны на другую. Напротив, при маленьком шаге, вероятно, будет схвачено верное направление, однако при этом потребуется очень много итераций. На практике величина шага берется пропорциональной крутизне склона (так что алгоритм замедляет ход вблизи минимума) с некоторой константой, которая называется скоростью обучения. Правильный выбор скорости обучения зависит от конкретной задачи и обычно осуществляется опытным путем; эта константа может также зависеть от времени, уменьшаясь по мере продвижения алгоритма.

Обычно этот алгоритм видоизменяется таким образом, чтобы включать слагаемое  импульса (или инерции). Этот член способствует продвижению в фиксированном  направлении, поэтому если было сделано  несколько шагов в одном и  том же направлении, то алгоритм "увеличивает  скорость", что (иногда) позволяет  избежать локального минимума, а также  быстрее проходить плоские участки.

Таким образом, алгоритм действует  итеративно, и его шаги принято  называть эпохами. На каждой эпохе на вход сети поочередно подаются все обучающие наблюдения, выходные значения сети сравниваются с целевыми значениями и вычисляется ошибка. Значение ошибки, а также градиента поверхности ошибок используется для корректировки весов, после чего все действия повторяются. Начальная конфигурация сети выбирается случайным образом, и процесс обучения прекращается либо когда пройдено определенное количество эпох, либо когда ошибка достигнет некоторого определенного уровня малости, либо когда ошибка перестанет уменьшаться (пользователь может сам выбрать нужное условие остановки).

 

2.3 Пример решения задачи XOR - исключающего ИЛИ

Персептрон способен научиться всему, что он способен представлять. Важно при этом уметь различать представляемость и обучаемость. Понятие представляемости относится к способности персептрона (или другой сети) моделировать определенную функцию.

Для иллюстрации проблемы представляемости допустим, что есть множество карт, помеченных цифрами от   до  . Допустим также, что существует гипотетическая машина, способная отличать карты с нечетным номером от карт с четным номером и зажигающей индикатор на своей панели при предъявлении карты с нечетным номером. Персептрон способен представлять желаемую машину. Возможности представления однослойными персептронами весьма ограниченны. Имеется много простых машин, которые не могут быть представлены персептроном независимо от того, как настраиваются его веса. Для примера рассмотрим проблему   – исключающего ИЛИ.

Один из самых пессимистических результатов Минского показывает, что  однослойный персептрон (рис 2.5) не может воспроизвести такую простую функцию, как  . Это функция от двух аргументов, каждый из которых может быть нулем или единицей. Она принимает значение  , когда один из аргументов равен единице, но не оба, иначе  . Проблему можно проиллюстрировать с помощью однослойной однонейронной системы с двумя входами, показанной на рисунке ниже.

 

Рисунок 2.7 Однонейронная сеть

 

Обозначим один вход через  , а другой через  , тогда все их возможные комбинации будут состоять из четырех точек на плоскости, как показано на рисунке 2.6.

Рисунок 2.8 Комбинации четырех точек на плоскости

 

Таблица ниже показывает требуемую  связь между входами и выходом, где входные комбинации, которые  должны давать нулевой выход, помечены   и  , единичный выход –   и  . 

 

Точки	Значение	Значение	Требуемый выход
	0	0	0
	1	0	1
	0	1	1
	1	1	0

 

В модели сети, приведенной на рисунке  выше, в качестве активационной функции  применяется обычная пороговая  функция:   принимает значение ноль, когда   меньше  , и единица в случае, когда  больше или равно  . Нейрон выполняет следующее вычисление:

Никакая комбинация значений двух весов  не может дать соотношения между  входом и выходом, заданного в  таблице выше. Чтобы понять это  ограничение, зафиксируем   на величине порога  . Сеть в этом случае описывается следующим уравнением: