Применение нейронных сетей для сжатия данных

Рис. 2.3. Два типа сжатия информации 

     Понижение размерности (a) позволяет описывать  данные меньшим числом компонент. Кластеризация  или квантование (b) позволяет снизить  разнообразие данных, уменьшая число  бит, требуемых для описания данных.

     Возможно также объединение обоих типов кодирования. Например, очень богат приложениями метод топографических карт (или самоорганизующихся карт Кохонена - по имени предложившего их финского ученого), когда сами прототипы упорядочены в пространстве низкой размерности. Например, входные данные можно отобразить на упорядоченную двумерную сеть прототипов так, что появляется возможность визуализации многомерных данных.

     Как и в случае с персептронами  начать изучение нового типа обучения лучше с простейшей сети, состоящей из одного нейрона. 

     2.3 сжатие информации. анализ главных компонент 

     Самый распространенный метод понижения  размерности - это анализ главных компонент (АГК). Традиционная реализация этого метода представлена в теории линейной алгебры. Основная идея заключается в следующем: к данным применяется линейное преобразование, при котором направлениям новых координатных осей соответствуют направления наибольшего разброса исходных данных. Для эти целей определяются попарно ортогональные направления максимальной вариации исходных данных, после чего данные проектируются на пространство меньшей размерности, порожденное компонентами с наибольшей вариацией. Один из недостатков

классического метода главных компонент состоит  в том, что это чисто линейный метод, и соответственно он может не учитывать некоторые важные характеристики структуры данных.

     В теории нейронных сетей разработаны  более мощные алгоритмы, осуществляющие “нелинейный анализ главных компонент”. Они представляют собой самостоятельную нейросетевую структуру, которую обучают выдавать в качестве выходов свои собственные входные данные, но при этом в ее промежуточном слое содержится меньше нейронов, чем во входном и выходном слоях (Рис. 2.4). Сети подобного рода носят название – автоассоциативные сети.

Рис. 2.4. Автоассоциативная  сеть с узким горлом – аналог правила обучения Ойя 

     Чтобы восстановить свои входные данные, сеть должна научиться представлять их в более низкой размерности. Базовый алгоритм обучения в этом случае носит название правило обучения Ойя для однослойной сети. Учитывая то, что в такой структуре веса с одинаковыми индексами в обоих слоях одинаковы, дельта-правило обучения верхнего (а тем самым и нижнего) слоя можно записать в виде:

        , где       

     ,и                  ,

     , j=1,2,.,d – компонента входного вектора;

     , выходы сети j=1,.,d;

     d   - количество нейронов на  входном ми выходном слоях  (размерность

вектора признаков);

     yi  - выход с i-го нейрона внутреннего  слоя, i=1,.,M

     M – количество нейронов на  внутреннем слое;

     h   - коэффициент обучения;

     wij=wkj  - веса сети, соответственно между входным– скрытым и скрытым – выходным слоями.

     Скрытый слой такой сети осуществляет оптимальное  кодирование входных данных, и содержит максимально возможное при данных ограничениях количество информации.

После обучения внешний интерфейс (wij) (Рис. 2.5) может быть

сохранен  и использован для понижения  размерности.

Рис. 2.5. Слой линейных нейронов 

     2.3.1 нелинейный анализ главных компонент 

Главное преимущество нейроалгоритмов в  том, что они легко обобщаются на

случай  нелинейного сжатия информации, когда  никаких явных решений уже  не

существует. Можно заменить линейные нейроны  в описанных выше сетях –

нелинейными. С минимальными видоизменениями  нейроалгоритмы будут работать и  в этом случае, всегда находя оптимальное сжатие информации при наложенных ограничениях. Например, простая замена линейной функции активации нейронов на сигмоидную в правиле обучения Ойя:

приводит  к новому качеству.

     Таким образом, нейроалгоритмы представляют собой удобный инструмент нелинейного анализа, позволяющий относительно легко находить способы глубокого сжатия информации и выделения нетривиальных признаков. 
 
 

3 ЗАКЛЮЧЕНИЕ 

     Самообучающиеся нейросети - это класс сетей, в  котором обучение происходит без  учителя, т.е. реализуется процесс  самообучения: сеть самостоятельно формирует свои выходы, адаптируясь к поступающим на ее входы сигналам на основе минимизации некоторого целевого функционала.

     В отсутствие внешней цели, "учителем" сети могут служить лишь сами данные, т.е. имеющаяся в них информация, закономерности, отличающие входные данные от случайного шума. Сжатие данных, уменьшение степени их избыточности, использующее существующие в них закономерности, может существенно облегчить последующую работу с данными, поэтому самообучающиеся сети обычно используются для предобработки "сырых" данных, кодируя входную информацию наиболее компактным при заданных ограничениях кодом. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Список  использованных источников: 

1. Самообучающиеся нейросети [Электронный ресурс] – Электрон. дан. –  [М.]. : МАДИ,  © 2001−2010. – Режим доступа http://www.madi.ru/study/kafedra/asu/metod/nero/2_1.shtml 

2. Сети встречного распространения [Электронный ресурс] – Электрон. дан. –  [М.]. : © INTUIT.ru: Интернет-Университет Информационных Технологий - дистанционное образование, 2003-2010. – Режим доступа http://www.intuit.ru/department/ds/neuronnets/6/7.html#sect15 

3. Уоссермен Ф. Нейрокомпьютерная техника. — М.: Мир, 1992. 

4. Нейронные сети [Электронный ресурс] – Электрон. дан. –  [М.]. :

 © 2001−2008. – Режим доступа http://www.nekata.ru/index.php?show_section=155 

5. Обучение без учителя: Сжатие информации [Электронный ресурс] / А.А. Ежов, С.А. Шумский – Электрон. дан. –  [М.]. : © INTUIT.ru: Интернет-Университет Информационных Технологий - дистанционное образование, 2003-2010 – Режим доступа http://www.intuit.ru/department/expert/neurocomputing/4/ 

6. Классификация сейсмических сигналов на основе нейросетевых технологий [Электронный ресурс] – Электрон. дан. –  [М.]. : © TAREFER.ru, 2005-2010 – Режим доступа http://works.tarefer.ru/34/100094/index.html