Энтропия и информация

Например, для русского языка без буквы  «ё»  ^[3].

Через частную и общую условные энтропии полностью описываются информационные потери при передаче данных в канале с помехами. Для этого применяются так называемые канальные матрицы. Для описания потерь со стороны источника (то есть известен посланный сигнал) рассматривают условную вероятность получения приёмником символа b_j при условии, что был отправлен символ a_i. При этом канальная матрица имеет следующий вид:

	b1	b2	…	bj	…	bm
a1			…		…
a2			…		…
…	…	…	…	…	…	…
ai			…		…
…	…	…	…	…	…	…
am			…		…

Очевидно, вероятности, расположенные по диагонали, описывают вероятность правильного  приёма, а сумма всех элементов  столбца даёт вероятность появления  соответствующего символа на стороне  приёмника — p(b_j). Потери, приходящиеся на передаваемый сигнал a_i, описываются через частную условную энтропию:

Для вычисления потерь при передаче всех сигналов используется общая условная энтропия:

означает энтропию со стороны источника, аналогично рассматривается   — энтропия со стороны приёмника: вместо всюду указывается (суммируя элементы строки можно получить p(a_i), а элементы диагонали означают вероятность того, что был отправлен именно тот символ, который получен, то есть вероятность правильной передачи).

Взаимная энтропия

Взаимная  энтропия или энтропия объединения предназначена для расчёта энтропии взаимосвязанных систем (энтропии совместного появления статистически зависимых сообщений) и обозначается H(AB), где A характеризует передатчик, а B — приёмник.

Взаимосвязь переданных и полученных сигналов описывается  вероятностями совместных событий p(a_ib_j), и для полного описания характеристик канала требуется только одна матрица:

p(a1b1)	p(a1b2)	…	p(a1bj)	…	p(a1bm)
p(a2b1)	p(a2b2)	…	p(a2bj)	…	p(a2bm)
…	…	…	…	…	…
p(aib1)	p(aib2)	…	p(aibj)	…	p(aibm)
…	…	…	…	…	…
p(amb1)	p(amb2)	…	p(ambj)	…	p(ambm)

Для более общего случая, когда описывается  не канал, а в целом взаимодействующие  системы, матрица необязательно  должна быть квадратной. Очевидно, сумма  всех элементов столбца с номером j даёт p(b_j), сумма строки с номером i есть p(a_i), а сумма всех элементов матрицы равна 1. Совместная вероятность p(a_ib_j) событий a_i и b_j вычисляется как произведение исходной и условной вероятности:

Условные  вероятности производятся по формуле Байеса. Таким образом, имеются все данные для вычисления энтропий источника и приёмника:

Взаимная  энтропия вычисляется последовательным суммированием по строкам (или по столбцам) всех вероятностей матрицы, умноженных на их логарифм:

H(AB) = −	∑	∑	p(aibj)logp(aibj).
	i	j

Единица измерения — бит/два символа, это объясняется тем, что взаимная энтропия описывает неопределённость на пару символов: отправленного и полученного. Путём несложных преобразований также получаем

Взаимная  энтропия обладает свойством информационной полноты — из неё можно получить все рассматриваемые величины.

 

Заключение

Трудно  найти понятия более общие  для всех наук (не только естественных) и, вместе с тем, иногда носящих оттенок  загадочности, чем энтропия и информация. Отчасти это связано с самими названиями. Если бы не звучное название “энтропия” осталась бы с момента  первого рождения всего лишь “интегралом  Клаузиуса”, вряд ли она бы не рождалась вновь и вновь в разных областях науки под одним именем. Кроме того, ее первооткрыватель Клаузиузус, первым же положил начало применению введенного им для, казалось, бы узкоспециальных термодинамических целей понятия к глобальным космологическим проблемам (тепловая смерть Вселенной). С тех пор энтропия многократно фигурировала в оставшихся навсегда знаменитыми спорах . В настоящее время универсальный характер этого понятия общепризнан и она плодотворно используется во многих областях.

Термин  “информация” замечателен тем, что, существующему с давних пор бытовому понятию, К.Шенноном  был придан математически  точный смысл. Неопределенно-бытовой  смысл этого термина уже научного. Это приводило и приводит ко многим недоразумениям и спекуляциям. Интересно  и то, что К.Шеннон как создатель  теории информации – по существу, раздела  математики , был не чистым математиком, а инженером-теоретиком. Поэтому его работы написаны языком ясным для понимания инженеров, естественников и даже сведущих в математике гуманитариев. Профессиональные математики проявили активность в этой области позднее, но их капитальный подход не востребован пока в приложениях.

 

 

Список используемой литературы

1. Волькенштейн М.В. Энтропия и информация . — М.: Наука, 2006.
2. Шамбадаль П. Развитие и приложения понятия энтропии . М.: Наука, 1967 -290.
3. Шеннон К.Э. Работы по теории информации и кибернетике. М.: Ил., 1963 – 829с.
4. Колмогоров А.Н. Три подхода к определению понятия “количество информации” // Проблемы передачи информации. 1965. Т.1. №1. С.3-11.
5. Колмогоров А.Н. К логическим основам теории информации и теории вероятностей // Проблемы передачи информации и теории вероятностей. 1969. Т.5.№3.С.3-7.
6. Информационная энтропия[ электронный ресурс]- режим доступа : http://ru.wikipedia.org.