Прогнозирование финансовых рынков с использованием искусственных нейронных сетей

1.2.4. Использование систем с искусственной  «памятью» для решения задач прогнозирования

Люди, использующие в своей повседневной работе технический анализ, приняли  за аксиому утверждение о том, что история на рынке повторяется, что финансовые рынки поддаются  прогнозированию. Это утверждение, однако, оспаривается приверженцами теории "Случайности цен", которая утверждает, что картина цен на биржевых и финансовых рынках - произвольные хаотичные изменения. Естественно, в действиях "биржевой" толпы - как всякого столпотворения - немало случайного. Однако наблюдатель может выявить повторяющиеся модели поведения толпы и на их основе сделать ставку на сохранение или на разворот тенденции. Человеку дана память. В памяти трейдеров - прежние курсы валют, и это влияет на их сегодняшние решения о купле и продаже. Благодаря памяти существуют явления поддержки (support) - пола цен - и сопротивления (resistance), или их потолка. Однако теоретики "случайности цен" упускают из виду тот факт, что память о прошлом влияет на поведение человека в настоящем.

В ценах заложена информация о спросе и предложении. Участники финансовых рынков используют эту информацию для принятия решений о купле и продаже. Обычные люди приобретают больше товара на распродаже и меньше, когда цены на него высоки. На финансовом рынке игроки не уступают им в практичности. Каждая цена - это сиюминутное соглашение о ценности достигнутое всеми участниками рынка, каждая цена отражает действия или их отсутствие - всех участников рынка. Таким образом, график можно представить как глазок в психологическое нутро толпы. Анализ графиков - анализ поведения участников рынка.

Специалисты по графикам изучают поведение  рынка, пытаясь выявить текущие  модели цен (price patterns - ценовые шаблоны, образы). В соответствии с аксиомой о "повторении истории на рынке" их цель - найти выигрышный вариант при повторении данных моделей. На обучение "качественному" выявлению моделей на графиках у трейдера может уйти от нескольких месяцев до нескольких лет практической и теоретической работы.

Если предположить, что история  на рынке повторяется, следовательно, имеет смысл разработать систему, способную «запоминать» прошлые рыночные ситуации и соответствующие им последствия (т.е. их продолжения) с целью последующего сопоставления со складывающимися на рынке ситуациями. Каким образом такую систему можно реализовать? Простейшим решением такой задачи будет база данных, в которую можно записывать закодированные определенным образом рыночные ситуации. Для составления прогноза необходимо было бы просматривать все записи, которых для достижения прогноза необходимой точности должно быть огромное количество. Данная идея по причинам сложности доступа к данным, сложности критериев сопоставления информации и проч. представляется не конструктивной.

Способность к "запоминанию" свойственна  системам реализующим нейросетевые принципы обработки данных. Известно, что прогнозирующую систему на базе искусственных нейронных сетей (ИНС) можно обучать довольно большим объемам информации, в которой система может выявлять зависимости, не поддающиеся обнаружению при использовании других методов обработки информации.

Идея ИНС развивается уже  около полувека. Сегодня, по этому  направлению, накоплена большая  теоретическая база. На практике, прогнозирующие системы, базирующиеся на нейросетевых технологиях, внедряются все большими темпами (по большей части в США).

1.3. Искусственные нейронные сети

1.3.1. Биологические нейронные сети

Сеть нейронов человеческого мозга  представляет собой высокоэффективную  комплексную систему с параллельной обработкой информации. Она способна организовать (настрорить) нейроны таким образом, чтобы реализовывать восприятие образа, его распознавание во много раз быстрее, чем эти задачи будут решены самыми современными компьютерами. Так распознавание знакомого лица происходит в мозге человека за 100-120 мс, в то время как компьютеру для этого необходимы минуты и даже часы.

Сегодня, как и 40 лет назад, не подвергается сомнению то, что мозг человека работает принципиально иным образом и  более эффективно, чем любая вычислительная машина, созданная человеком. Именно этот факт в течение ряда лет побуждает и направляет работы ученых по созданию и исследованию искусственных нейронных сетей.

К первым попыткам раскрыть секреты  анатомической организации мозга  можно отнести исследования  Сантьяго Рамон-и-Кахаля (1911). Применив метод окраски нейронов солями серебра, разработанный ранее Камилло Гольджи (серебро избирательно проникает в нейроны, но не пропитывает другие клетки мозга), Кахаль увидел, что мозг имеет клеточную архитектуру. Кахаль описал нейроны как поляризованные клетки, которые получают сигналы сильно разветвленными отростками, получившими названия дендритов, а посылают информацию неразветвленными отростками, названными аксонами. Аксон контактирует с дендритами других нейронов через специальные образования - синапсы, которые влияют на силу импульса (см. рис. 1.1).

Рис. 1.1. Схема биологического нейрона.

Окрашивание по Гольджи позволило  выявить огромное разнообразие нейронов по форме тела, разветвленности дендритной части и длине аксона. Кахаль выявил различия между клетками с короткими аксонами, взаимодействующими с соседними нейронами, и клетками с длинными аксонами, проецирующимися в другие участки мозга. Несмотря на различия в строении, все нейроны проводят информацию одинаково.

Связи между нейронами опосредуются химическими передатчиками - нейромедиаторами - выделяющимися из окончаний отростков нейронов в синапсах. Можно считать, что при прохождении через синапс сила импульса меняется в определенное число раз, которое будем называть весом синапса. Импульсы, поступившие к нейрону одновременно по нескольким дендритам, суммируются. Если суммарный импульс превышает некоторый порог, нейрон возбуждается, формирует собственный импульс и передает его далее по аксону. Важно отметить, что веса синапсов могут изменяться со временем, а значит, меняется и поведение соответствующего нейрона.

Еще в начале века нейрофизиологам  стала ясна исключительно важная роль синапсов в обучении. Действительно, сигналы мозга, проходя через  них, могут в разной степени усиливаться или ослабляться. Обращает на себя внимание и такой факт. Мозг новорожденного и взрослого человека содержат примерно одинаковое количество нейронов. Но только у взрослого человека он отличается упорядоченностью межнейронных синаптических связей. По-видимому, обучение мозга и есть процесс изменения архитектуры нейронной сети, сопровождаемый настройкой синапсов.

1.3.2. Математическая модель нейрона,  искусственные нейросети

Биологическая нейронная теория очень  развита и сложна. Чтобы построить  математическую модель процессов, происходящих в мозгу, примем несколько предположений:

а) каждый нейрон обладает некоторой  передаточной функцией, определяющей условия его возбуждения в  зависимости от силы полученных сигналов; кроме того, передаточные функции  не зависят от времени;

б) при прохождении синапса сигнал меняется линейно, т.е. сила сигнала  умножается на некоторое число; это  число будем называть весом синапса  или весом соответствующего входа  нейрона;

в) деятельность нейронов синхронизирована, т.е. время прохождения сигнала от нейрона к нейрону фиксировано и одинаково для всех связей; то же самое относится ко времени обработки принятых сигналов.

Необходимо заметить, что веса синапсов могут меняться со временем - это  принципиальная особенность. Именно изменение этих весов отвечает за возможность различной реакции организма на одни и те же условия в разные моменты времени, т. е. возможность обучения.

Нужно признать, что все эти предположения  достаточно сильно огрубляют биологическую  картину. Например, время передачи сигнала напрямую зависит от расстояния между нейронами (оно может быть достаточно большим). Тем удивительнее, что при этих упрощениях полученная модель сохраняет некоторые важные свойства биологических систем, в том числе адаптивность и сложное поведение.

Построим математическую модель нейрона (далее мы будем называть ее нейроном). Нейрон — это несложный автомат, преобразующий входные сигналы  в выходной сигнал (см. рис. 1.2). Сигналы  силы x₁, x₂, ..., x_n, поступая на синапсы, преобразуются линейным образом, т.е. к телу нейрона поступают сигналы силы w₁*x₁, w₂*x₂, ..., w_n*x_n (здесь w_i — веса соответствующих синапсов).

      

Рис. 1.2. Математическая модель нейрона

Для удобства к нейрону добавляют  еще один вход (и еще один вес w₀), считая, что на этот вход всегда подается сигнал силы 1. В теле нейрона происходит суммирование сигналов:

 

,

(1.1)

 

Затем применяет к сумме некоторую  фиксированную функцию f и выдает на выходе сигнал силы Y = f(S).

Эта модель была предложена Маккалоком и Питтсом еще в 1943 г. При этом использовались пороговые (ступенчатые) передаточные функции (см. рис. 1.3, а), и правила формирования выходного сигнала Y выглядели особенно просто.

Рис. 1.3. Активационные функции искусственных  нейронов,  
используемые при моделировании ИНС

В 1960 г. на основе таких нейронов Розенблатт построил первый в мире автомат для  распознавания изображений букв, который был назван “перцептрон” (perception — восприятие). Этот автомат  имел очень простую однослойную  структуру и мог решать только относительно простые (линейные) задачи. С тех пор были изучены и более сложные системы из нейронов, использующие в качестве передаточных любые непрерывные функции.

Одна из наиболее часто используемых передаточных функций называется сигмоидной (или логистической) (см. рис. 1.3, в, г, д) и задается формулой:

 

(1.2)

 

Основное достоинство этой функции  в том, что она дифференцируема  на всей оси абсцисс и имеет  очень простую производную:

(1.3)

 

Простейшую ИНС можно представить в виде одного «слоя» нейронов, соединенных между собой, как показано на рисунке 1.4.

Рис. 1.4. Простейшая нейросеть из трех нейронов

1.3.3. Основополагающие принципы нейровычислений

Основополагающие принципы нейрокомпьютинга - это родовые черты, объединяющие принципы работы и обучения всех нейрокомпьютеров. Главное, что их объединяет - нацеленность на обработку образов. Сформулируем эти парадигмы в концентрированном виде безотносительно к биологическим прототипам, как способы обработки данных.

1.3.3.1. Коннекционизм

Отличительной чертой нейросетей является глобальность связей. Базовые элементы искусственных нейросетей - формальные нейроны - изначально нацелены на работу с широкополосной информацией. Каждый нейрон нейросети, как правило, связан со всеми нейронами предыдущего слоя обработки данных (см. рис. 1.5, иллюстрирующий наиболее широко распространенную в современных приложениях архитектуру многослойного персептрона). В этом основное отличие формальных нейронов от базовых элементов последовательных ЭВМ - логических вентилей, имеющих лишь два входа. В итоге, универсальные процессоры имеют сложную архитектуру, основанную на иерархии модулей, каждый из которых выполняет строго определенную функцию. Напротив, архитектура нейросетей проста и универсальна. Специализация связей возникает на этапе их обучения под влиянием конкретных данных.

Рис. 1.5. Глобальность связей в искусственных  нейросетях

Типичный формальный нейрон производит простейшую операцию - взвешивает значения своих входов со своими же локально хранимыми весами и производит над их суммой нелинейное преобразование:

Нелинейность выходной функции  активации Y = f(S) принципиальна. Если бы нейроны были линейными элементами, то любая последовательность нейронов также производила бы линейное преобразование, и вся нейросеть была бы эквивалентна одному нейрону (или одному слою нейронов - в случае нескольких выходов). Нелинейность разрушает линейную суперпозицию и приводит к тому, что возможности нейросети существенно выше возможностей отдельных нейронов.

1.3.3.2. Локальность и параллелизм  вычислений

Массовый параллелизм нейровычислений, необходимый для эффективной  обработки образов, обеспечивается локальностью обработки информации в нейросетях. Каждый нейрон реагирует лишь на локальную информацию, поступающую к нему в данный момент от связанных с ним таких же нейронов, без апелляции к общему плану вычислений, обычной для универсальных ЭВМ. Таким образом, нейросетевые алгоритмы локальны, и нейроны способны функционировать параллельно.

1.3.3.3. Программирование: обучение, основанное  на данных

Отсутствие глобального плана  вычислений в нейросетях предполагает и особый характер их программирования. Оно также носит локальный характер: каждый нейрон изменяет свои «подгоночные параметры» - синаптические веса - в соответствии с поступающей к нему локальной информацией об эффективности работы всей сети как целого. Режим распространения такой информации по сети и соответствующей ей адаптации нейронов носит характер обучения. Такой способ программирования позволяет эффективно учесть специфику требуемого от сети способа обработки данных, ибо алгоритм не задается заранее, а порождается самими данными - примерами, на которых сеть обучается. Именно таким образом в процессе самообучения биологические нейросети выработали столь эффективные алгоритмы обработки сенсорной информации.

Характерной особенностью нейросетей является их способность к обобщению, позволяющая обучать сеть на ничтожной доле всех возможных ситуаций, с которыми ей, может быть, придется столкнуться в процессе функционирования. В этом их разительное отличие от обычных ЭВМ, программа которых должна заранее предусматривать их поведение во всех возможных ситуациях. Эта же их способность позволяет кардинально удешевить процесс разработки приложений.

1.3.4. Обучение искусственных нейронных сетей

Привлекательной чертой нейровычислений  является единый принцип обучения нейросетей - минимизация эмпирической ошибки. Функция ошибки, оценивающая данную конфигурацию сети, задается извне - в зависимости от того, какую цель преследует обучение. Но далее сеть начинает постепенно модифицировать свою конфигурацию - состояние всех своих синаптических весов - таким образом, чтобы минимизировать эту ошибку. В итоге, в процессе обучения сеть все лучше справляется с возложенной на нее задачей. Не вдаваясь в математические тонкости, образно этот процесс можно представить себе как поиск минимума функции ошибки E(w), зависящей от набора всех синаптических весов сети w (см. рис.1.6).