Нейронная сеть для решения задачи XOR

Министерство  образования и науки  Республики Казахстан

Казахский Национальный Педагогический Университет  им. Абая

 

Физико-математический факультет 

 

Кафедра «Информатики и прикладной математики»

 

 

 

 

ДИПЛОМНАЯ  РАБОТА

 

На тему:  Нейронная сеть для решения задачи XOR

 

Специальность: 050111 «Информатика»

                                   

 

 

 

Выполнил:	Дорошев Виталий                                                                                      студент 4 курса, очного отделения	__________________
Научный руководитель:	к.п.н., ст. преп. Киселева Е.А.	__________________

 

Дипломная работа допущена к защите перед Государственной  аттестационной комиссией решением заседания кафедры  «Информатики и прикладной математики », протокол № __ от ________ 2012 г. и распоряжением декана  факультета № _____ от __________ 2012 г.

 

Заведующий кафедрой        д.ф-м.н., проф. Бердышев А. С.              ______________

Декан      к.ф-м.н., доц. Бекпатшаев М.Ж.           _______________

Алматы, 2012

 

Содержание

Введение 3

1 Интеллектуальные системы на основе искусственных нейронных сетей 6

1.1 Аппаратное моделирование структур, подобных структуре мозга 6

1.2 Архитектура нейронной сети 13

1.3 Обучение искусственных нейронных сетей. 25

2  Многослойные сети прямого распространения 33

2.1 Ограниченность возможностей однослойных персептронов. 33

2.2 Принцип обучения многослойной нейронной сети с помощью алгоритма обратного распространения 37

2.3 Пример решения задачи XOR - исключающего ИЛИ 50

Заключение 59

Список используемой литературы 61

Приложение А 62

 

 

Введение

Современные цифровые вычислительные машины превосходят человека по способности  производить числовые и символьные вычисления. Однако человек может без усилий решать сложные задачи восприятия внешних данных (например, узнавание человека в толпе только по его промелькнувшему лицу) с такой скоростью и точностью, что мощнейший в мире компьютер по сравнению с ним кажется безнадежным тугодумом.

Подобно биологической нейронной  системе ИНС является вычислительной системой с огромным числом параллельно  функционирующих простых процессоров  с множеством связей. Модели ИНС  в некоторой степени воспроизводят "организационные" принципы, свойственные мозгу человека.

Интеллектуальные системы на основе искусственных нейронных сетей (ИНС) позволяют с успехом решать проблемы распознавания образов, выполнения прогнозов, оптимизации, ассоциативной  памяти и управления. Известны и  иные, более традиционные подходы  к решению этих проблем, однако они  не обладают необходимой гибкостью  за пределами ограниченных условий. ИНС дают многообещающие альтернативные решения, и многие приложения выигрывают от их использования.

Исследования по искусственным нейронным сетям связаны с тем, что способ обработки информации человеческим мозгом в корне отличается от методов, применяемых обычными цифровыми компьютерами. Мозг представляет собой чрезвычайно сложный, нелинейный, параллельный компьютер. Учеными доказано, что мозг состоит из огромного числа структурных компонентов – нервных клеток, называемых также нейронами. Нейрон создает соединения с другими нейронами, количество которых может составлять от 10 до 100 000 в точках сопряжения. Сигналы, распространяемые по нейронной сети, управляют активностью мозга в течение короткого интервала, а также становятся причиной долговременных изменений состояния самих нейронов и их соединений.

Мозг человека обладает способностью организовывать работу нейронов, так, чтобы они могли выполнять  конкретные задачи (такие как распознавание  образов, обработку сигналов органов  чувств, моторные функции) во много  раз быстрее, чем могут позволить  самые быстродействующие современные  компьютеры. Примером такой задачи обработки информации может служить обычное зрение. В функции зрительной системы входит создание представления окружающего мира в таком виде, который обеспечивает возможность взаимодействия с этим миром. Более точно, мозг последовательно выполняет ряд задач распознавания (например, распознавание знакомого лица в незнакомом окружении). На это у него уходит около 100-200 миллисекунд, в то время как выполнение аналогичных задач даже меньшей сложности на компьютере может занять несколько дней.

Другим примером может  служить локатор летучей мыши, представляющий собой систему активной эхо-локации. Кроме предоставления информации о расстоянии до нужного объекта этот локатор предоставляет информацию об относительной скорости объекта, о его размерах и размерах его отдельных элементов, а также об азимуте и высоте движения объекта. Для выделения этой информации из получаемого сигнала крохотный мозг летучей мыши проводит сложные нейронные вычисления. Эхо-локация летучей мыши по своим характеристикам качества и быстродействия превосходит самые сложные приборы, созданные инженерами.

Разработка искусственных  нейронных сетей началась в начале ХХ века, но только в 90-х годах, когда  вычислительные системы стали достаточно мощными, нейронные сети получили широкое  распространение. Создание нейронных  сетей было вызвано попытками  понять принципы работы человеческого  мозга и, без сомнения, это будет  влиять и на дальнейшее их развитие. Однако, в сравнении с человеческим мозгом нейронная сеть сегодня представляют собой весьма упрощенную модель, но несмотря на это весьма успешно используются при решении самых различных  задач.

Нейронные сети - исключительно  мощный метод моделирования, позволяющий  воспроизводить чрезвычайно сложные  зависимости. В частности, нейронные  сети нелинейны по свой природе. На протяжение многих лет линейное моделирование  было основным методом моделирования  в большинстве областей, поскольку  для него хорошо разработаны процедуры  оптимизации. В задачах, где линейная аппроксимация неудовлетворительна, линейные модели работают плохо. Кроме того, нейронные сети справляются с "проклятием размерности", которое не позволяет моделировать линейные зависимости в случае большого числа переменных

Нейронные сети учатся на примерах. Пользователь нейронной  сети подбирает представительные данные, а затем запускает алгоритм обучения, который автоматически воспринимает структуру данных. При этом от пользователя, конечно, требуется какой-то набор  эвристических знаний о том, как  следует отбирать и подготавливать данные, выбирать нужную архитектуру  сети и интерпретировать результаты, однако уровень знаний, необходимый  для успешного применения нейронных  сетей, гораздо скромнее, чем, например, при использовании традиционных методов статистики. В последние годы наблюдается повышенный интерес к нейронным сетям, которые успешно применяются в самых различных областях - бизнесе, медицине, технике, геологии , физике. Нейронные сети вошли в практику везде, где нужно решать задачи прогнозирования, классификации или управления. Все вышесказанное определяет актуальность темы исследования.

Объектом исследования является модель искусственных нейронных сетей.

Цель - изучение основных принципов работы искусственной вычислительной модели биологического нейрона и их демонстрация на примере решения задачи XOR.

Задачи

• Изучение общих вопросов организации искусственных нейронных сетей;
• Анализ способности к обучению искусственных нейронных сетей;
• Изучение проблемы ограниченности возможностей однослойных персептронов;
• Создание программного приложения, демонстрирующего решение проблемы XOR – исключающего ИЛИ.

Практическая значимость дипломной  работы заключается в программной  демонстрации того, как с помощью многослойных персептронов может быть смоделирована любая логическая функция, если только известна ее логическая формула. Исследован специальный математический аппарат, позволяющий конструировать такие персептроны. Оказалось, что проблема “Исключающего ИЛИ”, явившаяся камнем преткновения для однонейронного персептрона, может быть разрешена с помощью нейронной сети, состоящей из трех нейронов — трехнейронного персептрона

 

 

 

1 Интеллектуальные системы на основе искусственных нейронных сетей

1.1 Аппаратное моделирование  структур, подобных структуре мозга

Идея создания искусственного подобия человека для решения  сложных задач и моделирования  человеческого разума витала в воздухе  еще в древнейшие времена. Так, в  древнем Египте была создана «оживающая»  механическая статуя бога Амона. У Гомера в «Илиаде» бог Гефест ковал человекоподобные существа-автоматы. В литературе эта  идея обыгрывалась многократно: от Галатеи  Пигмалиона до Буратино папы Карло. Однако родоначальником искусственного интеллекта считается средневековый испанский  философ, математик и поэт Раймонд  Луллий, который еще в XIII веке попытался  создать механическую машину для  решения различных задач, на основе разработанной им всеобщей классификации  понятий.

В XVIII веке Лейбниц и Декарт независимо друг от друга продолжили эту идею, предложив универсальные  языки классификации всех наук. Эти  работы можно считать первыми  теоретическими работами в области  искусственного интеллекта. Окончательное  рождение искусственного интеллекта как  научного направления произошло  только после создания ЭВМ в 40-х  годах XX века. В это же время Норберт  Винер создал свои основополагающие работы по новой науке — кибернетике.

Термин «искусственный интеллект» — ИИ — (AI — artificial intelligence) был предложен  в 1956 г. на семинаре с аналогичным  названием в Дартсмутском колледже (США). Семинар был посвящен разработке методов решения логических, а  не вычислительных задач. В английском языке данное словосочетание не имеет  той слегка фантастической антропоморфной окраски, которую оно приобрело  в довольно неудачном русском  переводе. Слово intelligence означает «умение  рассуждать разумно», а вовсе не «интеллект», для которого есть термин intellect.

Синтезируя десятки определений  ИИ из различных источников, в качестве рабочего определения можно предложить следующее: «искусственный интеллект— это одно из направлений информатики, целью которого является разработка аппаратно-программных средств, позволяющих  пользователю-непрограммисту ставить  и решать свои, традиционно считающиеся  интеллектуальными задачи, общаясь  с ЭВМ на ограниченном подмножестве естественного языка.»

Вскоре после признания  искусственного интеллекта отдельной  областью науки произошло разделение его на два направления: нейрокибернетика и «кибернетика черного ящика». Эти  направления развиваются практически  независимо, существенно различаясь как в методологии, так и в технологии. И только в настоящее время стали заметны тенденции к объединению этих частей вновь в единое целое.

Зарождение нейрокибернетики.

Основную идею этого направления  можно сформулировать следующим  образом:

Единственный объект, способный  мыслить, — это человеческий мозг. Поэтому любое «мыслящее» устройство должно каким-то образом воспроизводить ею структуру.

Таким образом, нейрокибернетика ориентирована на программно-аппаратное моделирование структур, подобных структуре  мозга. Физиологами давно установлено, что основой человеческого мозга  является большое количество (до 10^') связанных между собой и взаимодействующих  нервных клеток — нейронов. Поэтому  усилия нейрокибернетики были сосредоточены  на создании элементов, аналогичных  нейронам, и их объединении в функционирующие  системы. Эти системы принято  называть нейронными сетями, или нейросетями.

Первые нейросети были созданы Розенблаттом и Мак-Каллоком в 1956-1965 гг. Это были попытки создать  системы, моделирующие человеческий глаз и его взаимодействие с мозгом. Устройство, созданное ими тогда, получило название персептрона (perceptron). Оно умело различать буквы  алфавита, но было чувствительно к  их написанию. Постепенно в 70-80 годах  количество работ по этому направлению  искусственного интеллекта стало снижаться. Слишком неутешительны были первые результаты. Авторы объясняли неудачи  малой памятью и низким быстродействием  существующих в то время компьютеров.