Математическая теория информации

 
 
 
 
 
 
 
 
 

      Курс: "Теория информации и кодирования"

      Тема: "МАТЕМАТИЧЕСКАЯ ТЕОРИЯ ИНФОРМАЦИИ"

      1. КОЛИЧЕСТВО ИНФОРМАЦИИ, И ЕЕ МЕРА 

      На вход системы передачи информации (СПИ) от источника информации подается совокупность сообщений, выбранных из ансамбля сообщений (рис.1). 

                               Помехи 
 

                     x₁                                                          y₁

       

                        x₂                                                  y₂

       

                      x_n                                      y_n

      Рис. 1. Система передачи информации  

      Ансамбль сообщений – множество возможных сообщений с их вероятностными характеристиками - {Х, р(х)}. При этом: Х={х₁, х₂ ,…, х_m } - множество возможных сообщений источника; i = 1, 2 ,..., m, где m - объем алфавита; p(x_i) - вероятности появления сообщений, причем p(x_i) ³ 0 и поскольку вероятности сообщений представляют собой полную группу событий, то их суммарная вероятность равна единице 

       . 

      Каждое сообщение несет в себе определенное количество информации. Определим количество информации, содержащееся в сообщении x_i, выбранном из ансамбля сообщений источника {Х, р(х)}. Одним из параметров, характеризующих данное сообщение, является вероятность его появления - p(x_i), поэтому естественно предположить, что количество информации I(x_i) в сообщении x_i является функцией p(x_i). Вероятность появления двух независимых сообщений x₁ и x₂ равна произведению вероятностей p(x₁, x₂) = p(x₁).p(x₂), а содержащаяся в них информация должна обладать свойством аддитивности, т. е.: 

      I(x₁, x₂) = I(x₁)+I(x₂). (1)  

      Поэтому для оценки количества информации предложена логарифмическая мера: 

       . (2)  

      При этом, наибольшее количество информации содержат наименее вероятные сообщения, а количество информации в сообщении о достоверном событии равно нулю. Т. к. все логарифмы пропорциональны, то выбор основания определяет единицу информации: log_ax = log_bx/log_ba.

      В зависимости от основания логарифма используют следующие единицы информации:

      2 - [бит] (bynary digit – двоичная единица), используется при анализе ин-формационных процессов в ЭВМ и др. устройствах, функционирующих на основе двоичной системы счисления;

      e - [нит] (natural digit – натуральная единица), используется в математических методах теории связи;

      10 -[дит] (decimal digit – десятичная единица), используется при анализе процессов в приборах работающих с десятичной системой счисления.

      Битом (двоичной единицей информации) – называется количество информации, которое снимает неопределенность в отношении наступления одного из двух равновероятных, независимых событий.

      Среднее количество информации для всей совокупности сообщений можно получить путем усреднения по всем событиям: 

       . (3) 

      Количество информации, в сообщении, состоящем из n не равновероятных его элементов равно (эта мера предложена в 1948 г. К. Шенноном): 

       . (4) 

      Для случая независимых равновероятных событий количество инфор-мации определяется (эта мера предложена в 1928 г. Р. Хартли): 

       . (5)

      2. СВОЙСТВА КОЛИЧЕСТВА ИНФОРМАЦИИ

       

      1. Количество информации в сообщении обратно - пропорционально вероятности появления данного сообщения.

      2. Свойство аддитивности - суммарное количество информации двух источников равно сумме информации источников.

      3. Для события с одним исходом количество информации равно нулю.

      4. Количество информации в дискретном сообщении растет в зависимости от увеличения объема алфавита -m.

      Пример 1. Определить количество информации в сообщении из 8 двоичных символов (n = 8, m = 2), если вероятности равны: p_i0 = p_i1 = 1/2.

      Количество информации равно:  

      I = n log m = 8 log₂ 2 = 8 бит. 

      Пример 2. Определить количество информации в сообщении из 8 двоичных символов (n = 8, m = 2), если вероятности равны: 

      p_i0 = 3/4; p_i1 = 1/4. 

      Количество информации равно:  

      

      3. ЭНТРОПИЯ ИНФОРМАЦИИ 

      Энтропия - содержательность, мера неопределенности информации.

      Энтропия - математическое ожидание H(x) случайной величины I(x) определенной на ансамбле {Х, р(х)}, т. е. она характеризует среднее значение количества информации, приходящееся на один символ. 

       . (6)  

      Определим максимальное значение энтропии H_max(x). Воспользуемся методом неопределенного множителя Лагранжа - l для отыскания условного экстремума функции [6]. Находим вспомогательную функцию:  

       (7)  

      Представим вспомогательную функцию F в виде: 

       . (8) 

      Найдем максимум этой функции 

       т. к.

       .

      Как видно из выражения, величина вероятности p_i не зависит от i, а это может быть в случае, если все p_i равны, т. е. p₁ =p₂ = ...=p_m =1/m.

      *** m = 2 *** ************** ******* p_i  = 1/2 ******** ***** 1.  ********* ******** * *********** ** *********** *******  ********* ** ***. 2. *** *****, ******** ******** ************* ************** ********.

      *** ****, ********* *** ******** **************, *********** ********* *****:  

H(x_i) 

                H_max

1 
 
 
 
 
 

0                               0,5                           1,0       P(x_i) 
 
 
 
 
 
 
 
 

      ***. 2. ****** ******** *** **** ************** ******* 

       . (9)  

      ****** ******** ******* **** ************** ******* * ************* p₁ * p₂. ******** ***** 

      

      4. ******** ******** ********* 

      1. ******** **** ******** ************, ************, ** *************, *********** ** ********* 0 £ p £ 1.

      2. Энтропия максимальна для равновероятных событий.

      3. Энтропия для детерминированных событий равна нулю.

      4. Энтропия системы двух альтернативных событий изменяется от 0 до 1.

      Энтропия численно совпадает со средним количеством информации но принципиально различны, так как:

      H(x) - выражает среднюю неопределенность состояния источника и является его объективной характеристикой, она может быть вычислена априорно, т. е. до получения сообщения при наличии статистики сообщений.

      I(x)- определяется апостериорно, т. е. после получения сообщения. С получением информации о состоянии системы энтропия снижается.

      5. ИЗБЫТОЧНОСТЬ СООБЩЕНИЙ 

      Одной из информационных характеристик источника дискретных сообщений является избыточность, которая определяет, какая доля максимально-возможной энтропии не используется источником 

       , (10) 

      где ? - коэффициент сжатия.

      Избыточность приводит к увеличению времени передачи сообщений, уменьшению скорости передачи информации, излишней загрузки канала, вместе с тем, избыточность необходима для обеспечения достоверности передаваемых данных, т. е. надежности СПД, повышения помехоустойчивости. При этом, применяя специальные коды, использующие избыточность в передаваемых сообщениях, можно обнаружить и исправить ошибки.

      Пример 1. Вычислить энтропию источника, выдающего два символа 0 и 1 с вероятностями p(0) = p(1) = 1/m и определить его избыточность.

      Решение: Энтропия для случая независимых, равновероятных элементов равна: H(x) = log₂m = log₂2 = 1[дв.ед/симв.]

      При этом H(x) = H_max(x) и избыточность равна R = 0.

      Пример 2. Вычислить энтропию источника независимых сообщений, выдающего два символа 0 и 1 с вероятностями p(0) = 3/4, p(1) = 1/4.

      Решение: Энтропия для случая независимых, не равновероятных элементов равна: