Штучні нейронні мережі

Мережі прямого поширення відносять  до статичних, тут на входи нейронів надходять вхідні сигнали, які не залежать від попереднього стану мережі.

Рекурентні мережі вважаються динамічними, оскільки за рахунок зворотних зв'язків (петель) входи нейронів модифікуються в часі, що призводить до зміни станів мережі.

Навчання штучної нейронної  мережі

Оригінальність нейромереж, як аналога  біологічного мозку, полягає у здібності до навчання за прикладами, що складають навчальну множину. Процес навчання нейромереж розглядається як налаштування архітектури та вагових коефіцієнтів синаптичних зв'язків відповідно до даних навчальної множини так, щоб ефективно вирішити поставлену задачу. Виділяють варіанти контрольованого та неконтрольованого навчання.

Контрольоване навчання

Величезну більшість рішень отримано від нейромереж з контрольованим навчанням, де біжучий вихід постійно порівнюється з бажаним виходом. Ваги на початку встановлюються випадково, але під час наступних ітерацій коректуються для досягнення близької відповідності між бажаним та біжучим виходом. Ці методи навчання націлені на мінімізації біжучих похибок всіх елементів обробки, що вібувається завдяки неперервної зміни синаптичних ваг до досягнення прийнятної точності мережі.

Перед використанням, нейромережа  з контрольованим навчанням повинна  бути навченою. Фаза навчання займає певний час. Навчання вважається закінченим при досягненні нейромережею визначеного користувачем рівня ефективності і мережа досягла бажаної статистичної точності, оскільки вона видає бажані виходи для заданої послідовності входів. Після навчання ваги з'єднань фіксуються для подальшого застосування. Деякі типи мереж дозволяють під час використання продовжувати навчання, і це допомагає мережі адаптуватись до змінних умов.

Навчальні множини повинні бути достатньо великими, щоб містити всю необхідну інформацію для виявлення важливих особливостей і зв'язків. Навчальні приклади повинні містити широке різноманіття даних. Якщо мережа навчається лише для одного прикладу, ваги старанно встановлені для цього прикладу, радикально змінюються у навчанні для наступного прикладу. Попередні приклади при навчанні наступних просто забуваються. В результаті система повинна навчатись всьому разом, знаходячи найкращі вагові коефіцієнти для загальної множини прикладів.

Наприклад, у навчанні системи розпізнавання  піксельних образів для десяти цифр, які представлені двадцятьма прикладами кожної цифри, всі приклади цифри "сім" не доцільно представляти послідовно. Краще надати мережі спочатку один тип представлення всіх цифр, потім другий тип і так далі.

Головною компонентою для успішної роботи мережі є представлення і  кодування вхідних і вихідних даних. Штучні мережі працюють лише з числовими вхідними даними, отже, необроблені дані, що надходять із зовнішнього середовища повинні перетворюватись. Додатково необхідне масштабування, тобто нормалізація даних відповідно до діапазону всіх значень. Нормалізація виконується шляхом ділення кожної компоненти вхідного вектора на довжину вектора, що перетворює вхідний вектор в одиничний. Попередня обробка зовнішніх даних, отриманих за допомогою сенсорів, у машинний формат є спільною і легко доступною для стандартних комп'ютерів.

Якщо після контрольованого  навчання нейромережа ефективно  опрацьовує дані навчальної множини, важливим стає її ефективність при роботі з  даними, які не використовувались  для навчання. У випадку отримання  незадовільних результатів для  тестової множини, навчання продовжується. Тестування використовується для забезпечення запам'ятовування не лише даних заданої навчальної множини, але і створення загальних образів, що можуть міститись в даних.

Неконтрольоване навчання

Неконтрольоване навчання може бути великим надбанням у майбутньому. Воно проголошує, що комп'ютери можуть самонавчатись у справжньому роботизованому сенсі. На даний час, неконтрольоване навчання використовується в мережах відомих, як самоорганізовані карти (self organizing maps). Мережі не використовують зовнішніх впливів для коректування своїх ваг і внутрішньо контролюють свою ефективність, шукаючи регулярність або тенденції у вхідних сигналах та роблять адаптацію згідно до навчальної функції. Навіть без повідомлення правильності чи неправильності дій, мережа повинна мати інформацію відносно власної організації, яка закладена у топологію мережі та навчальні правила.

Алгоритм неконтрольованого навчання скеровано на знаходження близькості між групами нейронів, які працюють разом. Якщо зовнішній сигнал активує будь-який вузол в групі нейронів, дія всієї групи в цілому збільшується. Аналогічно, якщо зовнішній сигнал в групі зменшується, це приводить до гальмуючого ефекту на всю групу.

Конкуренція між нейронами формує основу для навчання. Навчання конкуруючих нейронів підсилює відгуки певних груп на певні сигнали. Це пов'язує групи між собою та відгуком. При конкуренції змінюються ваги лише нейрона-переможця.

Оцінки навчання

Оцінка ефективності навчання нейромережі  залежить від кількох керованих факторів. Теорія навчання розглядає три фундаментальні властивості, пов'язані з навчанням: ємність, складність зразків і обчислювальна складність.

• Ємність показує, скільки зразків може запам'ятати мережа, і які межі прийняття рішень можуть бути на ній сформовані.
• Складність зразків визначає число навчальних прикладів, необхідних для досягнення здатності мережі до узагальнення.
• Обчислювальна складність напряму пов'язана з потужністю комп’ютера.

Обґрунтованість застосування нейромереж

Нейромережі не можна вважати доцільним рішенням для всіх обчислювальних проблем. Для багатьох застосувань ідеальними є традиційні комп'ютери та обчислювальні методи. Сучасні цифрові обчислювальні машини перевершують людину за здатністю робити числові й символьні обчислення. Однак людина може без зусиль вирішувати складні задачі сприйняття зовнішніх даних (наприклад, впізнавання людини в юрбі по його обличчю) з такою швидкістю і точністю, що значно перевищує можливості потужних комп’ютерів.

Порівняння традиційного комп’ютера з біологічної нейронною системою

**	Комп’ютер з архітектурою фон Неймана	Біологічна нейрона система
Процесор	Складний   Високошвидкісний   Один чи декілька	Простий   Низькошвидкісний   Велика кількість
Пам'ять	Відділена від процесора  Локалізована   Адресація за адресою	Інтегрована в процесор  Розподілена   Адресація по змісту
Обчислення	Централізовані   Послідовні  Збережені програми	Розподілені   Паралельні   Самонавчання
Надійність	Висока вразливість	Живучість
Спеціалізація	Числові й символьні операції	Проблеми сприйняття
Середовище функціонування	Строго визначене   Строго обмежене	Погано визначене   Без обмежень
Функції	Логічно,   через правила,   концепції, обчислення	Через зображення,   рисунки, керування
Метод навчання	За правилами (дидактично)	За прикладами (сократично)
Застосування	Числова та символьна обробка інформації	Розпізнавання мови,  розпізнавання образів,  розпізнавання текстів

 

Проблеми, які вирішують за допомогою нейромоделювання.

Класифікація образів. Визначення належності вхідного образа (наприклад, мовного сигналу чи рукописного символу), який представлено вектором ознак, до одного чи кількох попередньо визначених класів. До відомих застосувань відносяться розпізнавання букв, розпізнавання мови, класифікація сигналу електрокардіограми.

Кластеризація/категоризація. При вирішенні задачі кластеризації, що відома також як класифікація образів "без вчителя", навчальна множина з визначеними класами відсутня. Алгоритм кластеризації засновано на подобі образів і розміщення близьких образів в один кластер. Застосовують кластеризацію для видобутку знань, стиснення даних і дослідження властивостей даних.

Апроксимація функцій. Припустимо, що є навчальна вибірка ((x1,y1), (x2,y2)..., (xn,yn)) (пари даних вхід-вихід), яка генерується невідомою функцією F, яка спотворена шумом. Завдання апроксимації полягає в знаходженні невідомої функції F. Апроксимація функцій необхідна при рішенні численних інженерних і наукових задач моделювання.

Передбачення/прогноз. Нехай задані n дискретних відліків {y(t1), y(t2), ..., y(tn)} у послідовні моменти часу t1, t2,..., tn . Завдання полягає в передбаченні значення y(tn+1) у деякий майбутній момент часу tn+1. Передбачення/прогноз мають значний вплив на прийняття рішень у бізнесі, науці й техніці (передбачення цін на фондовій біржі, прогноз погоди).

Оптимізація. Численні проблеми в математиці, статистиці, техніці, науці, медицині й економіці можуть розглядатися як проблеми оптимізації. Задачею алгоритму оптимізації є знаходження такого рішення, яке задовольняє системі обмежень і максимізує чи мінімізує цільову функцію.

Пам'ять, що адресується  за змістом. В традиційних комп'ютерах звертання до пам'яті доступно лише за допомогою адреси, що не залежить від змісту пам'яті. Більш того, якщо допущена помилка в обчисленні адреси, то може бути знайдена зовсім інша інформація. Асоціативна пам'ять, чи пам'ять, що адресується за змістом, доступна за вказівкою заданого змісту. Вміст пам'яті може бути викликано навіть за частковим фрагментом або спотвореним змістом. Асоціативна пам'ять є потрібною при створенні мультимедійних інформаційних баз даних.

Керування. Розглянемо динамічну систему, задану сукупністю {u(t), y(t)}, де u(t) є вхідним керуючим впливом, а y(t) - виходом системи в момент часу t. В системах керування з еталонною моделлю метою керування є розрахунок такого вхідного впливу u(t), при якому система діє за бажаною траєкторією, яка задана еталонною моделлю. Прикладом є оптимальне керування двигуном.

Незважаючи на переваги нейронних мереж в часткових галузях над традиційними обчисленнями, існуючі нейромережі не є досконалими рішеннями. Вони навчаються і можуть робити "помилки". Окрім того, не можна гарантувати, що розроблена мережа є оптимальною мережею.

Застосування нейромереж вимагає  від розробника виконання ряду умов:

• Наявність репрезентативної та достатньої за розміром множини даних для навчання й тестування мережі.
• Розуміння базової природи проблеми, яка буде вирішена.
• Вибір функції суматора, передатної функції та методів навчання.
• Розуміння інструментальних засобів розробника.
• Відповідна потужність обробки.

Робота з нейромоделями  вимагає вмінь розробника поза межами традиційних обчислень.

• Спочатку, обчислення були лише апаратними й інженери робили їх працюючими.
• Потім, були спеціалісти з програмного забезпечення: програмісти, системні інженери, спеціалісти по базах даних та проектувальники.
• Тепер є нейронні архітектори. Новий професіонал повинен мати високу кваліфікацію і різнобічні знання. Наприклад, він повинен знати статистику для вибору і оцінювання навчальних і тестувальних множин. Логічне мислення сучасних інженерів, їх емпіричне вміння та інтуїтивне відчуття гарантує створення ефективних нейромереж.

Класифікація відомих нейромереж

Оскільки всі штучні нейронні мережі базуються на концепції нейронів, з'єднань та передатних функцій, існує подібність між різними структурами або архітектурами нейронних мереж. Більшість змін походить з різних правил навчання. Розглянемо деякі з найвідоміших штучних нейромереж.

Перцептрон Розенбалата

Першою моделлю нейромереж вважають перцептрон Розенбалата. Теорія перцептронів є основою для багатьох типів штучних нейромереж прямого поширення і вони є класикою для вивчення.

Одношаровий перцептрон здатний розпізнавати найпростіші  образи. Окремий нейрон обчислює зважену  суму елементів вхідного сигналу, віднімає значення зсуву і пропускає результат через жорстку порогову функцію, вихід якої дорівнює +1 чи -1. В залежності від значення вихідного сигналу приймається рішення:

• +1 - вхідний сигнал належить класу A,
• -1 - вхідний сигнал належить класу B.

На рис. 8 показано схему одношарового перцептрона, графік передатної функції  і схему вирішальних областей, створених у багатовимірному  просторі вхідних сигналів. Вирішальні області визначають, які вхідні образи будуть віднесені до класу A, які - до класу B. Перцептрон, що складається з одного нейрона, формує дві вирішальні області, які розділено гіперплощиною.

Рис. 1. Схема нейрона, графік передатної функції і поділяюча поверхня

 

На рис. показано випадок з розмірністю вихідного сигналу - 2. Поділяюча поверхня є прямою лінією на площині. Рівняння, що задає поділяючу пряму, залежить від значень синаптичних ваг і зсуву.

Алгоритм навчання одношарового перцептрона

1. Ініціалізація синаптичних ваг і зсуву: синаптичні ваги приймають малі випадкові значення.

2. Пред'явлення мережі нового вхідного і бажаного вихідного сигналів: вхідний сигнал x=(x₁, x₂, ..., x_n) пред'являється нейрону разом з бажаним вихідним сигналом d.