Системы обработки экономической информации

Перечисленные проблемы могут быть решены при использовании методов глобальной оптимизации. Наиболее эффективным из них является генетический алгоритм (ГА). Рассматривая НС как единый набор параметров, ГА способен осуществлять ее оптимальную настройку при размерности поискового пространства достаточной для решения большинства практических задач. При этом спектр рассматриваемых приложений гораздо превосходит возможности алгоритма обратного распространения ошибки [33].

2. Модель нейронной  сети с обратным распространением  ошибки 

Одним из наиболее простых и распространенных алгоритмов обучения нейроосетей по методу обучения с учителем является метод обратного распространения ошибки  (back propagation), и представляющий собой некоторое расширение метода наименьших квадратов. Рассмотрим его детальнее.

. Согласно методу наименьших квадратов, минимизируемой целевой функцией ошибки НС является величина:

                                          (1)

где – реальное выходное состояние нейрона j выходного слоя N нейронной сети при подаче на ее входы p-го образа; d_jp – идеальное (желаемое) выходное состояние этого нейрона.

Суммирование ведется  по всем нейронам выходного слоя и  по всем обрабатываемым сетью образам. Минимизация ведется методом градиентного спуска, что означает подстройку весовых коэффициентов следующим образом:

                                      (2)

Здесь w_ij – весовой коэффициент синаптической связи, соединяющей i-ый нейрон слоя n-1 с j-ым нейроном слоя n, h – коэффициент скорости обучения, 0<h<1.

Показано, что:

                                    (3)

 

Здесь под y_j, как и раньше, подразумевается выход нейрона j, а под s_j – взвешенная сумма его входных сигналов, то есть аргумент активационной функции. Так как множитель dy_j/ds_j является производной этой функции по ее аргументу, из этого следует, что производная активационной функция должна быть определена на всей оси абсцисс. В связи с этим функция единичного скачка и прочие активационные функции с неоднородностями не подходят для рассматриваемых НС. В них применяются такие гладкие функции, как гиперболический тангенс или классический сигмоид с экспонентой.

Третий множитель ¶s_j/¶w_ij, очевидно, равен выходу нейрона предыдущего слоя y_i^(n-1).

Что касается первого  множителя в (3), он легко раскладывается следующим образом:

                     (5)

 

Здесь суммирование по k выполняется среди нейронов слоя n+1.

Введя новую переменную

                                                  (6)

мы получим рекурсивную формулу для расчетов величин d_j⁽ⁿ⁾ слоя n из величин d_k⁽ⁿ⁺¹⁾ более старшего слоя n+1.

                                            (7)

Для выходного же слоя

                                           (8)

Теперь мы можем записать (2) в раскрытом виде:

                                              (9)

Иногда для придания процессу коррекции весов некоторой  инерционности, сглаживающей резкие скачки при перемещении по поверхности целевой функции, (9) дополняется значением изменения веса на предыдущей итерации

               (10)

где m – коэффициент инерционности, t – номер текущей итерации.

Таким образом, полный алгоритм обучения НС с помощью процедуры  обратного распространения строится так:

1. Подать на входы  сети один из возможных образов  и в режиме обычного функционирования  НС, когда сигналы распространяются  от входов к выходам, рассчитать  значения последних. Напомним, что

                                       (11)

где M – число нейронов в слое n-1 с учетом нейрона с  постоянным выходным состоянием +1, задающего  смещение; y_i^(n-1)=x_ij⁽ⁿ⁾ – i-ый вход нейрона j слоя n.

                        y_j⁽ⁿ⁾ = f(s_j⁽ⁿ⁾), где f() – сигмоид  (12)

                                          y_q⁽⁰⁾=I_q, (13)

где I_q – q-ая компонента вектора входного образа.

2. Рассчитать d^(N) для выходного слоя по формуле (8).

Рассчитать по формуле (9) или (10) изменения весов Dw^(N) слоя N.

3. Рассчитать по формулам (7) и (9) (или (7) и (10)) соответственно d⁽ⁿ⁾ и Dw⁽ⁿ⁾ для всех остальных слоев, n=N-1,...1.

4. Скорректировать все  веса в НС

                          (14)

5. Если ошибка сети  существенна, перейти на шаг  1. В противном случае – конец.

Рис.  1. Диаграмма сигналов в сети при обучении по алгоритму обратного распространения

Сети на шаге 1 попеременно  в случайном порядке предъявляются  все тренировочные образы, чтобы  сеть, образно говоря, не забывала одни по мере запоминания других. Алгоритм иллюстрируется Рис.  1.

Из выражения (9) следует, что когда выходное значение y_i^(n-1) стремится к нулю, эффективность обучения заметно снижается. При двоичных входных векторах в среднем половина весовых коэффициентов не будет корректироваться[3], поэтому область возможных значений выходов нейронов [0,1] желательно сдвинуть в пределы [-0.5,+0.5], что достигается простыми модификациями логистических функций. Например, сигмоид с экспонентой преобразуется к виду

      (15)

Теперь коснемся вопроса  емкости НС, то есть числа образов, предъявляемых на ее входы, которые  она способна научиться распознавать. Для сетей с числом слоев больше двух, он остается открытым. Как показано в [4], для НС с двумя слоями, то есть выходным и одним скрытым слоем, детерминистская емкость сети C_d оценивается так:

                           N_w/N_y<C_d<N_w/N_y×log(N_w/N_y)  (16)

где N_w – число подстраиваемых весов, N_y – число нейронов в выходном слое.

Следует отметить, что  данное выражение получено с учетом некоторых ограничений. Во-первых, число входов N_x и нейронов в скрытом слое N_h должно удовлетворять неравенству N_x+N_h>N_y. Во-вторых, N_w/N_y>1000. Однако вышеприведенная оценка выполнялась для сетей с активационными функциями нейронов в виде порога, а емкость сетей с гладкими активационными функциями, например – (15), обычно больше. Кроме того, фигурирующее в названии емкости прилагательное "детерминистский" означает, что полученная оценка емкости подходит абсолютно для всех возможных входных образов, которые могут быть представлены N_x входами. В действительности распределение входных образов, как правило, обладает некоторой регулярностью, что позволяет НС проводить обобщение и, таким образом, увеличивать реальную емкость. Так как распределение образов, в общем случае, заранее не известно, мы можем говорить о такой емкости только предположительно, но обычно она раза в два превышает емкость детерминистскую.

В продолжение разговора  о емкости НС логично затронуть  вопрос о требуемой мощности выходного слоя сети, выполняющего окончательную классификацию образов. Дело в том, что для разделения множества входных образов, например, по двум классам достаточно всего одного выхода. При этом каждый логический уровень – "1" и "0" – будет обозначать отдельный класс. На двух выходах можно закодировать уже 4 класса и так далее. Однако результаты работы сети, организованной таким образом, можно сказать – "под завязку", – не очень надежны. Для повышения достоверности классификации желательно ввести избыточность путем выделения каждому классу одного нейрона в выходном слое или, что еще лучше, нескольких, каждый из которых обучается определять принадлежность образа к классу со своей степенью достоверности, например: высокой, средней и низкой. Такие НС позволяют проводить классификацию входных образов, объединенных в нечеткие (размытые или пересекающиеся) множества. Это свойство приближает подобные НС к условиям реальной жизни.

Рассматриваемая НС имеет  несколько "узких мест". Во-первых, в процессе обучения может возникнуть ситуация, когда большие положительные или отрицательные значения весовых коэффициентов сместят рабочую точку на сигмоидах многих нейронов в область насыщения. Малые величины производной от логистической функции приведут в соответствие с (7) и (8) к остановке обучения, что парализует НС. Во-вторых, применение метода градиентного спуска не гарантирует, что будет найден глобальный, а не локальный минимум целевой функции. Эта проблема связана еще с одной, а именно – с выбором величины скорости обучения. Доказательство сходимости обучения в процессе обратного распространения основано на производных, то есть приращения весов и, следовательно, скорость обучения должны быть бесконечно малыми, однако в этом случае обучение будет происходить неприемлемо медленно. С другой стороны, слишком большие коррекции весов могут привести к постоянной неустойчивости процесса обучения. Поэтому в качестве h обычно выбирается число меньше 1, но не очень маленькое, например, 0.1, и оно, вообще говоря, может постепенно уменьшаться в процессе обучения. Кроме того, для исключения случайных попаданий в локальные минимумы иногда, после того как значения весовых коэффициентов застабилизируются, h кратковременно сильно увеличивают, чтобы начать градиентный спуск из новой точки. Если повторение этой процедуры несколько раз приведет алгоритм в одно и то же состояние НС, можно более или менее уверенно сказать, что найден глобальный максимум, а не какой-то другой.

Применение нейросетей

1. Общая характеристика нейросетевых технологий

Принципы нейросетевой обработки информации можно реализовать  двумя способами:

• на специализированных микросхемах (нейрочипах), осуществляющих параллельную переработку информации, в результате чего достигается скорость обработки информации, недоступная на обычных последовательных компьютерах. Недостатком нейрочипов является их высокая стоимость,  и возможность решать лишь узкие классы задач;
• на обычных последовательных компьютерах путем моделирования (эмуляции) работы нейросетей, при этом скорость работы сравнительно невысока, но в результате того, что нейросети создаются программным путем, имеется возможность решать практически все классы задач.

Доступность и возросшие  вычислительные возможности современных  компьютеров привели к широкому распространению программ, использующих принципы нейросетевой обработки данных, исполняемых на последовательных компьютерах.

Преимущества таких "виртуальных" нейрокомпьютеров для относительно небольших задач :

• Во-первых, не надо тратиться на новую аппаратуру, если можно загрузить уже имеющиеся компьютеры общего назначения.
• Во-вторых, пользователь не должен осваивать особенности программирования на спец-процессорах и способы их сопряжения с базовым компьютером.

Таблица 1. Секторы рынка  нейросетевых программных продуктов

Сегмент рынка нейро-продуктов	Преимущества  продукции	Недостатки  продукции
Нейро-пакеты общего назначения	Не требуют самостоятельного программирования, легко осваиваются, инструмент быстрого и дешевого решения прикладных задач	Не способны к расширению, не способны генерировать отчуждаемые приложения, не могут использоваться для разработки сложных систем или их подсистем
Системы разработки нейроприложений	Могут использоваться для  создания сложных систем обработки данных в реальном времени (или их подсистем)	Требуют навыков программирования, более глубокого знания нейросетей
Готовые решения на основе нейросетей	Не предполагают знакомства пользователя с нейросетями, предоставляют комплексное решение проблемы	Как правило – дорогое  удовольствие
Нейро-консалтинг	Не предполагает участия  пользователя в получении прогнозов, потенциальная дешевизна услуг	Нет возможности дополнить  предсказания своим know how. Доступность конфиде-нциальной информации

 

. Несколько условно  нейро-software можно разделить на  готовые нейро-пакеты общего назначения, более дорогие системы разработки нейроприложений, обладающие большими возможностями, но требующие и больших знаний, и, наконец, готовые комплексные решения с элементами нейросетевой обработки информации, обычно скрытыми от глаз пользователя.

2. Классы решаемых  задач

Нейросети наиболее приспособлены  к решению широкого круга задач, так или иначе связанных с  обработкой образов. Вот список типичных постановок задач для нейросетей:

• Аппроксимация функций по набору точек (регрессия);
• Классификация данных по заданному набору классов;
• Кластеризация данных с выявлением заранее неизвестных классов-прототипов;
• Сжатие информации;
• Восстановление утраченных данных;
• Ассоциативная память;
• Оптимизация, оптимальное управление и др.