Применение нейронных сетей для сжатия данных

СОДЕРЖАНИЕ 

ВВЕДЕНИЕ………………………………………………………………… …….. 3 

1 ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ…………………………………….... 4 

2 НЕЙРОСЕТЕВОЕ СЖАТИЕ ДАННЫХ………..…………………………..… 7

      2.1 сеть встречного распространения для сжатия данных……………………………………………………………….………… 8

     2.2 ИСПОЛЬЗОВАНИЕ СЖАТИЯ ДАННЫХ В САМООБУЧЕНИИ НЕЙРОСЕТЕЙ…………………………………………………………….……… 10

     2.3 сжатие информации. анализ главных компонент…12

           2.3.1 нелинейный анализ  главных компонент……...14 

3 ЗАКЛЮЧЕНИЕ…………..……………………………………………………….15 

Список  использованных источников……………………………………………...16 
 
 
 
 
 
 
 
 
 
 
 
 

ВВЕДЕНИЕ 

            Искусственная нейронная се́ть — это математическая модель, а также устройства параллельных вычислений, представляющие собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Как математическая модель искусственная нейронная сеть представляет собой частный случай методов распознавания образов или дискриминантного анализа.

      Такие процессоры обычно довольно просты, особенно в сравнении с процессорами, используемыми  в персональных компьютерах.

      Каждый  процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И тем не менее, будучи соединёнными в достаточно большую сеть с управляемым  взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи.

      Понятие возникло при изучении процессов, протекающих  в мозге при мышлении, и при  попытке смоделировать эти процессы. Полученные модели называются искусственными нейронными сетями (ИНС).

      Нейронные сети не программируются в привычном  смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных  сетей перед традиционными алгоритмами. Технически обучение заключается в  нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что, в случае успешного обучения, сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке. 
 
 
 

1 ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ 

     Известные применения нейросетей:

- Распознавание  образов и классификация

- Принятие  решений и управление

- Кластеризация

- Прогнозирование  и аппроксимация

- Сжатие  данных и Ассоциативная память 

     Распознавание образов и классификация:

В качестве образов могут выступать различные, по своей природе, объекты: символы  текста, изображения, образцы звуков и т. д. При обучении сети предлагаются различные образцы образов с указанием того, к какому классу они относятся. Образец, как правило, представляется как вектор из его признаков. При этом совокупность всех признаков должна однозначно определять класс, к которому относится образец. В случае, если признаков недостаточно, сеть может соотнести один и тот же образец с несколькими классами, что неверно. По окончании обучения сети можно предъявлять неизвестные ей ранее образы и получать от нее ответ о принадлежности к определенному классу. Топология такой сети характеризуется тем, что количество нейронов в выходном слое, как правило, равно количеству определяемых классов. При этом устанавливается соответствие между выходом нейронной сети и классом, который он представляет. Когда сети предъявляется некий образ, на одном из ее выходов должен появиться признак того, что образ принадлежит этому классу. В то же время на других выходах должен быть признак того, что образ данному классу не принадлежит. Если на двух или более выходах есть признак принадлежности к классу, считается что сеть «не уверена» в своем ответе. 

     Принятие  решений и управление:

Эта задача близка к задаче классификации. Классификации  подлежат ситуации, характеристики которых  поступают на вход нейронной сети. На выходе сети при этом должен появиться признак решения, которое она приняла. При этом в качестве входных сигналов используются различные критерии описания состояния управляемой системы. 

     Кластеризация:

Под кластеризацией понимается разбиение множества  входных сигналов на классы, притом, что ни количество, ни признаки классов заранее неизвестны. После обучения такая сеть способна определять, к какому классу относится входной сигнал. Сеть также может сигнализировать о том, что входной сигнал не относится ни к одному из выделенных классов — это является признаком новых, отсутствующих в обучающей выборке, данных. Таким образом такая сеть может выявлять новые, неизвестные ранее классы сигналов. Соответствие между классами, выделенными сетью и классами, существующими в предметной области, устанавливается человеком. 

     Прогнозирование и аппроксимация:

Способности нейронной сети к прогнозированию  напрямую следуют из ее способности  к обобщению и выделению скрытых  зависимостей между входными и выходными  данными. После обучения сеть способна предсказать будущее значение некой последовательности на основе нескольких предыдущих значение и/или каких-то существующих в настоящий момент факторов. Следует отметить, что прогнозирование возможно только тогда, когда предыдущие изменения действительно в какой-то степени предопределяют будущие. Например, прогнозирование котировок акций на основе котировок за прошлую неделю может оказаться успешным (а может и не оказаться), тогда как прогнозирование результатов завтрашней лотереи на основе данных за последние 50 лет почти наверняка не даст никаких результатов.

     Сжатие  данных и Ассоциативная память:

Способность нейросетей к выявлению взаимосвязей между различными параметрами дает возможность выразить данные большой  размерности более компактно, если данные тесно взаимосвязаны друг с другом. Обратный процесс — восстановление исходного набора данных из части информации — называется (авто)ассоциативной памятью. Ассоциативная память позволяет также восстанавливать исходный сигнал/образ из зашумленных/поврежденных входных данных. Решение задачи гетероассоциативной памяти позволяет реализовать память, адресуемую по содержимому. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

2 НЕЙРОСЕТЕВОЕ СЖАТИЕ ДАННЫХ 

     Сжатие  данных — одна из задач, решаемых нейронными сетями. Как и любое сжатие, решение  данной задачи основано на устранении избыточности информации во входном сигнале (образе).

     В отличие от традиционных методов  сжатия — математического вычисления и удаления избыточности — нейронная  сеть при решении задачи сжатия исходит  из соображений нехватки ресурсов. Топология сети и ее алгоритм обучения таковы, что данные большой размерности требуется передать со входа нейронной сети на ее выходы через сравнительно небольших размеров канал. Для реализации сжатия такого рода может использоваться многослойный перцептрон следующей архитектуры: количество нейронов во входном и выходном слое одинаково и равно размерности сжимаемых данных; между этими слоями располагаются один или более промежуточных слоев меньшего размера. Число промежуточных слоев определяет степень сложности преобразования данных. Например сеть с тремя промежуточными слоями может выполнять лучшее сжатие на обучающих данных, но может дать худший результат в реальных ситуациях. Это связано с тем, что в исходных данных может случайно образоваться некая зависимость, которая не имеет никакого отношения к реальности.

     Исходные  данные для сети составляются таким  образом, чтобы на выходах был  всегда тот же набор сигналов, что  и на входе. В процессе работы алгоритм обратного распространения ошибки минимизирует ошибку. Это означает, что веса связей от входного слоя нейронов и, примерно, до серединного слоя будут работать на компрессию сигнала, а остальные — на его декомпрессию. При практическом использовании полученную сеть разбивают на две. Вывод первой сети передают по каналу связи и подают на вход второй, которая осуществляет декомпрессию. 

     Другим  способом решения задачи сжатия является применение автоассоциативной памяти, такой как сеть Хопфилда, так как  она обладает способностью восстанавливать  сигнал по его поврежденному образу.

     «Бутылочное горлышко» — одна из возможных топологий нейросетей, используемых для сжатия (Рис. 2.1).

Рис. 2.1. «Бутылочное горлышко» 

      2.1 сеть встречного распространения для сжатия данных 

      Сеть  встречного распространения может  быть использована для сжатия данных перед их передачей, уменьшая тем самым число битов, которые должны быть переданы. Допустим, что требуется передать некоторое изображение. Оно может быть разбито на подизображения , как показано на рис. 6.8.

      

Рис. 2.2.  

      Каждое  подизображение разбито на пиксели (мельчайшие элементы изображения). Тогда каждое подизображение является вектором, элементами которого являются пиксели, из которых состоит подизображение. Допустим для простоты, что каждый пиксель - это единица (свет) или нуль (чернота). Если в подизображении имеется пикселей, то для его передачи потребуется n бит. Если допустимы некоторые искажения, то для передачи типичного изображения требуется существенно меньшее число битов, что позволяет передавать изображение быстрее. Это возможно из-за статистического распределения векторов подизображений. Некоторые из них встречаются часто, тогда как другие встречаются так редко, что могут быть грубо аппроксимированы. Метод, называемый векторным квантованием, находит более короткие последовательности битов, наилучшим образом представляющие эти подизображения.

      Сеть  встречного распространения может  быть использована для выполнения векторного квантования. Множество векторов подизображений используется в качестве входа для  обучения слоя Кохонена по методу аккредитации, когда выход единственного нейрона равен 1. Веса слоя Гроссберга обучаются выдавать бинарный код номера того нейрона Кохонена, выход которого равен 1. Например, если выходной сигнал нейрона 7 равен 1 (а все остальные равны 0), то слой Гроссберга будет обучаться выдавать 00...000111 (двоичный код числа 7). Это и будет являться более короткой битовой последовательностью передаваемых символов.

      На  приемном конце идентичным образом  обученная сеть встречного распространения  принимает двоичный код и реализует  обратную функцию, аппроксимирующую первоначальное подизображение.

      Этот метод применялся на практике как к речи, так и к изображениям, с коэффициентом сжатия данных от 10:1 до 100:1. Качество было приемлемым, хотя некоторые искажения данных на приемном конце признаются неизбежными. 

     2.2 ИСПОЛЬЗОВАНИЕ СЖАТИЯ ДАННЫХ В САМООБУЧЕНИИ НЕЙРОСЕТЕЙ 

     Сеть самостоятельно формирует свои выходы, адаптируясь к поступающим на ее входы сигналам. Как и прежде, такое обучение предполагает минимизацию некоторого целевого функционала. Задание такого функционала формирует цель, в соответствии с которой сеть осуществляет преобразование входной информации.

     В отсутствие внешней цели, "учителем" сети могут служить лишь сами данные, т. е. имеющаяся в них информация, закономерности, отличающие входные  данные от случайного шума. Лишь такая  избыточность позволяет находить более компактное описание данных, что, согласно общему принципу, изложенному в предыдущей лекции, и является обобщением эмпирических данных. Сжатие данных, уменьшение степени их избыточности, использующее существующие в них закономерности, может существенно облегчить последующую работу с данными, выделяя действительно независимые признаки. Поэтому самообучающиеся сети чаще всего используются именно для предобработки "сырых" данных. Практически, адаптивные сети кодируют входную информацию наиболее компактным при заданных ограничениях кодом.

     Длина описания данных пропорциональна, во-первых, разрядности данных (т. е. числу бит), определяющей возможное разнообразие принимаемых ими значений, и, во-вторых, размерности данных , т. е. числу компонент входных векторов . Соответственно, можно различить два предельных типа кодирования, использующих противоположные способы сжатия информации:

     - Понижение размерности данных с минимальной потерей информации. (Сети, например, способны осуществлять анализ главных компонент данных, выделять наборы независимых признаков.)

     - Уменьшение разнообразия данных за счет выделения конечного набора прототипов, и отнесения данных к одному из таких типов. (Кластеризация данных, квантование непрерывной входной информации.)