Штучні нейронні мережі

2. Штучні нейронні мережі

Штучні нейромережі є моделями нейронної структури мозку, який здатен сприймати, обробляти, зберігати та продукувати інформацію, а також навчається з досвіду. Інтелектуальні системи на основі штучних нейронних мереж дозволяють з успіхом вирішувати проблеми розпізнавання образів, виконання прогнозів, оптимізації, асоціативної пам'яті і керування.

Мозок людини має багато якостей, що відсутні в сучасних комп'ютерах з архітектурою фон Неймана:

• Розподілене представлення інформації і паралельні обчислення.
• Здатність до навчання й узагальнення.
• Адаптивність.
• Толерантність до помилок.
• Низьке енергоспоживання.

Механізм природного мислення базується на збереженні інформації у вигляді образів. Процес зберігання інформації як образів, використання образів і вирішення нетрадиційних завдань визначають галузь в обробці даних, яка, не використовуючи традиційного програмування, забезпечує створення паралельних мереж та їх навчання. В лексиконі розробників та користувачів нейромереж присутні слова "поводити себе", "реагувати", "самоорганізовувати", "навчати", "узагальнювати" та "забувати".

Аналогія з мозком

Базовим елементом мозку людини є нейрони - специфічні клітини, що здатні запам'ятовувати і застосовувати попередній досвід до наступних дій, що докорінно відрізняє їх від решта клітин тіла.

Кора головного мозку людини є протяжною, утвореною нейронами  поверхнею товщиною від 2 до 3 мм із площею близько 2200 см2, що вдвічі перевищує  площу поверхні стандартної клавіатури. Кора головного мозку містить близько 10¹¹ нейронів, що приблизно дорівнює числу зірок Чумацького шляху. Кожен нейрон зв'язаний з 10³ - 10⁴ іншими нейронами. У цілому мозок людини містить приблизно від 10¹⁴ до 10¹⁵ взаємозв'язків.

Потужність людського розуму залежить від числа базових компонентів, різноманіття з'єднань між ними, а також від генетичного програмування й навчання.

Індивідуальний нейрон є складним, має свої складові, підсистеми та механізми  керування і передає інформацію через велику кількість електрохімічних  зв'язків. Налічують біля сотні різних класів нейронів. Разом нейрони та з'єднання між ними формують недвійковий, нестійкий та несинхронний процес, що різниться від процесу обчислень традиційних комп'ютерів. Штучні нейромережі моделюють лише найголовніші елементи природного мозку, що надихає науковців та розробників до нових шляхів розв'язування проблеми.

Біологічний нейрон

Нейрон (нервова клітка) складається  з тіла клітини - соми (soma), і двох типів зовнішніх деревоподібних відгалужень: аксона (axon) і дендритів (dendrites). Тіло клітини вміщує ядро (nucleus), що містить інформацію про властивості нейрона, і плазму, яка продукує необхідні для нейрона матеріали. Нейрон отримує сигнали (імпульси) від інших нейронів через дендрити (приймачі) і передає сигнали, що згенеровані тілом клітки, вздовж аксона (передавач), який наприкінці розгалужується на волокна (strands). На закінченнях волокон знаходяться синапси (synapses).

Рис. 1. Схема біологічного нейрона

Синапс є функціональним вузлом між двома нейронами (волокно  аксона одного нейрона і дендрит  іншого). Коли імпульс досягає синаптичного закінчення, там продукуються хімічні речовини - нейротрансмітери. Нейротрансмітери проходять через синаптичну щілину і в залежності від типу синапсу, збуджують або гальмують здатність нейрона-приймача генерувати електричні імпульси. Результативність синапсу налаштовується сигналами, які проходять скрізь нього, тому синапси навчаються у відповідності до активності процесів, у яких вони приймають участь. Нейрони взаємодіють за допомогою короткої серії імпульсів, повідомлення передається за допомогою частотно-імпульсної модуляції.

Біологічні нейрони є структурно складнішими, ніж існуючі штучні нейрони. Оскільки нейрофізіологія надає науковцям розширене розуміння дії нейронів, а технологія обчислень постійно вдосконалюється, розробники мереж мають необмежений простір для вдосконалення моделей біологічного мозку.

Штучний нейрон

Штучний нейрон є базовим модулем нейронних мереж. Він моделює основні функції природного нейрона (рис. 2).

При функціонуванні нейрон одночасно  отримує багато вхідних сигналів. Кожен вхід має свою власну синаптичну вагу, яка надає входу вплив, необхідний для функції суматора елемента обробки. Ваги є мірою сили вхідних зв'язків і моделюють різноманітні синаптичні сили біологічних нейронів. Ваги суттєвого входу підсилюються і, навпаки, вага несуттєвого входу примусово зменшується, що визначає інтенсивність вхідного сигналу. Ваги можуть змінюватись відповідно до навчальних прикладів, топології мережі та навчальних правил.

Вхідні сигнали x_n зважені ваговими коефіцієнтами з'єднання w_n додаються, проходять через передатну функцію, генерують результат і виводяться.

Рис. 2. Базовий штучний нейрон

В наявних на цей час пакетах програм штучні нейрони називаються "елементами обробки" і мають більше можливостей, ніж базовий штучний нейрон, описаний вище.

На рис. 3 зображена детальна схема  штучного нейрону.

Рис. 3. Модель "елементу обробки"

Функція суматора може бути складнішою, наприклад, вибір мінімуму, максимуму, середнього арифметичного, добутку або обчислюватися за іншим алгоритмом. Більшість комерційних програм дозволяють інженерам-програмістам створювати власні функції суматора за допомогою підпрограм, що закодовані на мові високого рівня (C, С++, TurboPascal).

Вхідні сигнали та вагові коефіцієнти  можуть комбінуватись багатьма способами  перед надходженням до передатної функції. Особливі алгоритми для комбінування входів нейронів визначаються обраними мережною архітектурою та парадигмою.

В деяких нейромережах функції суматора виконують додаткову обробку, так звану функцію активації, яка зміщує вихід функції суматора в часі. Більшість сучасних нейронних реалізацій використовують функцію активації "тотожності", яка еквівалентна її відсутності. Цю функцію доцільніше використовувати як компоненту мережі в цілому, ніж як компоненту окремого нейрона.

Результат функції суматора перетворюється у вихідний сигнал через передатну функцію. В передатній функції для визначення виходу нейрона загальна сума порівнюється з деяким порогом (зазвичай, це діапазон [0, 1] або [-1,1] або інше число) за допомогою певного алгоритму.

Переважно застосовують нелінійну  передатну функцію, оскільки лінійні (прямолінійні) функції  є обмеженими і вихід є пропорційним до входу. Застосування лінійних передатних функцій було проблемою у ранніх моделях мереж, і їх обмеженість та недоцільність була доведена в книзі Мінскі та Пейперта "Перцептрони".

В існуючих нейромережах в якості передатних функцій можуть бути використані  сигмоїда, синус, гіперболічний тангенс тощо. На рис. 4 зображені типові передатні функції.

	Для простої передатної функції  нейромережа може видавати 0 та 1, 1 та -1 або інші числові комбінації. Передатна функція в таких випадках є "жорстким обмежувачем" або пороговою функцією (рис. 4а).
	Передатна функція лінійна з насиченням віддзеркалює вхід всередині заданого діапазону і діє як жорсткий обмежувач за межами цього діапазону. Це лінійна функція, яка відсікається до мінімальних та максимальних значень, роблячи її нелінійною (рис. 4б).
		Сигмоїда або S-подібна крива, яка  наближує мінімальне та максимальне  значення у асимптотах і називається сигмоїдою (рис. 4в), коли її діапазон [0, 1], або гіперболічним тангенсом (рис. 4г), при діапазоні [-1, 1]. Важливою рисою цих кривих є неперервність функцій та їх похідних. Застосування сигмоїдних функцій надає добрі результати і має широке застосування.

Для різних нейромереж можуть вибиратись інші передатні функції.

Після обробки сигналу, нейрон на виході має результат передатної функції, який надходить на входи інших  нейронів або до зовнішнього з'єднання, як це передбачається структурою нейромережі.

Всі штучні нейромережі конструюються  з базового формуючого блоку - штучного нейрону. Існуючі різноманітності  і фундаментальні відмінності, є  підставою мистецтва талановитих  розробників для реалізації ефективних нейромереж.

Архітектура з'єднань штучних нейронів

Інша властивість нейромереж стосується величезної кількості зв'язків, які пов'язують окремі нейрони. Групування нейронів у мозку людини відбувається так, що інформація обробляється динамічним, інтерактивним та самоорганізуючим шляхом.

Біологічні нейронні мережі створені у тривимірному просторі з мікроскопічних компонентів і здатні до різноманітних з'єднань. Але для штучних мереж існують фізичні обмеження.

Об'єднуючись у мережі, нейрони  утворюють системи обробки інформації, які забезпечують ефективну адаптацію моделі до постійних змін з боку зовнішнього середовища. В процесі функціонування мережі відбувається перетворення вхідного вектора сигналів у вихідний. Конкретний вид перетворення визначається архітектурою нейромережі, характеристиками нейронних елементів, засобами керування та синхронізації інформаційних потоків між нейронами.

Важливим фактором ефективності мережі є встановлення оптимальної кількості  нейронів та типів зв'язків між  ними.

При описі нейромереж використовують кілька усталених термінів, які в різних джерелах можуть мати різне трактування, зокрема:

• Структура нейромережі - спосіб зв'язків нейронів у нейромережі.
• Архітектура нейромережі - структура нейромережі та типи нейронів.
• Парадигма нейромережі - спосіб навчання та використання; іноді вміщує і поняття архітектури.

На основі однієї архітектури може бути реалізовано різні парадигми нейромережі і навпаки.

Серед відомих архітектурних рішень виділяють  групу слабозв'язаних нейронних  мереж, у випадку, коли кожний нейрон мережі зв'язаний лише із сусідніми.

Рис. 5а. Слабозв'язані нейромережі	Рис. 5б. Повнозв'язані нейромережі

В повнозв'язаних нейромережах входи  кожного нейрона зв'язані з  виходами всіх решта нейронів.

Самим поширеним варіантом архітектури є багатошарові мережі. Нейрони в даному випадку об'єднуються у прошарки з єдиним вектором сигналів входів. Зовнішній вхідний вектор подається на вхідний прошарок нейронної мережі (рецептори). Виходами нейронної мережі є вихідні сигнали останнього прошарку (ефектори). Окрім вхідного та вихідного прошарків, нейромережа має один або кілька прихованих прошарків нейронів, які не мають контактів із зовнішнім середовищем.

Рис. 6. Багатошаровий тип з'єднання нейронів

• Зв'язки між нейронами різних прошарків називають проективними.
• Зв'язки скеровані від вхідних прошарків до вихідних називаються аферентними,
• в інакшому випадку, при зворотному напрямку зв'язків - еферентними.
• Зв'язки між нейронами одного прошарку називають бічними (латеральними).

На рис. 6 показана типова структура штучних нейромереж. Хоча існують мережі, які містять лише один прошарок, або навіть один елемент, більшість застосувань вимагають мережі, які містять як мінімум три типи прошарків - вхідний, прихований та вихідний. Прошарок вхідних нейронів отримує дані або з вхідних файлів, або безпосередньо з електронних давачів. Вихідний прошарок пересилає інформацію безпосередньо до зовнішнього середовища, до вторинного комп'ютерного процесу, або до інших пристроїв. Між цими двома прошарками може бути багато прихованих прошарків, які містять багато нейронів в різноманітних зв'язаних структурах. Входи та виходи кожного з прихованих нейронів сполучені з іншими нейронами.

Важливим аспектом нейромереж є напрямок зв'язку від одного нейрону до іншого є. В більшості мереж кожен нейрон прихованого прошарку отримує сигнали від всіх нейронів попереднього прошарку чи від нейронів вхідного прошарку. Після виконання операцій над сигналами, нейрон передає свій вихід до всіх нейронів наступних прошарків, забезпечуючи передачу вперед (feedforward) на вихід.

При зворотньому  зв'язку, вихід нейронів прошарку скеровується до нейронів попереднього прошарку (рис. 7).

Шлях, яким нейрони з'єднуються  між собою має значний вплив  на роботу мережі. Більшість пакетів  професіональної розробки програмного  забезпечення дозволяють користувачу додавати, вилучати та керувати з'єднаннями як завгодно. Постійно коректуючі параметри, зв'язки можна робити як збуджуючими так і гальмуючими.

За архітектурою зв'язків, більшість відомих нейромереж можна згрупувати у два великих класи:

1. Мережі прямого поширення (з односкерованими послідовними зв'язками).
2. Мережі зворотного поширення (з рекурентними зв'язками).

Типові архітектури нейронних  мереж

Мережі прямого поширення Перцептрони Мережа Back Propagation Мережа зустрічного поширення Карта Кохонена

Рекурентні мережі Мережа Хопфілда Мережа Хемінга Мережа адаптивної резонансної теорії Двоскерована асоціативна пам'ять