Каналы связи

При наличии  помехи среднее количество информации в принятом символе сообщении – Y, относительно переданного – X равно:

 

.

 

Для символа  сообщения X_T длительности T, состоящего из n элементарных символов среднее количество информации в принятом символе сообщении – Y_T относительно переданного – X_T равно:

 

I(Y_T, X_T) = H(X_T) – H(X_T/Y_T) = H(Y_T) – H(Y_T/X_T) = n [H(Y) – H (Y/X). (9)

 

Для определения  потерь в дискретном канале связи  используется канальная матрица (матрица переходных вероятностей), позволяющая определить условную энтропию характеризующую потерю информации на символ сообщения.

Скорость передачи информации по дискретному каналу с помехами

равна:

 

 (10)

 

Пропускная  способность дискретного канала при наличии помех равна максимально  допустимой скорости передачи информации, причем максимум разыскивается по всем распределениям вероятностей p(x) на X и, поскольку, энтропия максимальна для равномерного распределения (для равновероятных символов сообщения), то выражение для пропускной способности имеет вид:

 

. (11)

 

Как видно из формулы, наличие  помех уменьшает пропускную способность канала связи.

Пример. По каналу связи передаются сообщения, вероятности которых соответственно равны:

 

p(x₁)=0,1; p(x₂)=0,2; p(x₃)=0,3; p(x₄)=0,4.

 

Канальная матрица, определяющая потери информации в канале связи имеет вид:

.

 

Определить:

1. Энтропию источника информации – H(X).
2. Безусловную энтропию приемника информации – H(Y).

3. Общую  условную энтропию – H (Y/X).

4. Скорость передачи информации, если время передачи одного символа первичного алфавита t = 0,1 мс.
5. Определить потери информации в канале связи при передаче 500 символов алфавита.
6. Среднее количество принятой информации.
7. Пропускную способность канала связи.

Решение:

1. Энтропия источника сообщений равна

 

 

2. Вероятности появления символов на входе приемника

 

Проверка:

Энтропия  приемника информации равна

3. Общая условная энтропия равна

 

4. Скорость передачи информации равна:

=(1,85–0,132)/0,0001=17,18 Кбит/с.

5. Потери информации в канале связи при передаче 500 символов алфавита равны:

 

500×0,132=66 бит.

 

6. Среднее количество принятой информации равно:

 

=500×(1,85–0,132)=859 бит.

 

7. Пропускная способность канала связи

 

(2–0,132)/0,0001=18,68 Кбит/с.

 

 

2.3 Пропускная способность бинарного, симметричного канала

 

Бинарным дискретным каналом называется канал, по которому передается только два элементарных дискретных символа (т.е. используется двоичный код).

Симметричным дискретным каналом называется канал, в котором. вероятности не зависят от передаваемых символов, т.е. вероятности правильной передачи одинаковы (p(x₁)= p(x₂)) и вероятности ошибочной передачи одинаковы (p(y₁ /x₂)= p(y₂/x₁)).

Рассмотрим  двоичный дискретный канал, по которому передаются дискретные символы «0» и «1» (m=2). Если передаваемые символы независимы и равновероятны (p(x₁)= p(x₂)=1/2), то сигнал имеет максимальную энтропию (H_max(X)=1), при этом p (1/0) = p (0/1).

Если P_ош – вероятность ошибки то 1-Р_ош – вероятность правильного приема. Диаграмма передачи двоичных сигналов по симметричному калу приведена на рис. 2.

 

p(y₁/ x₁) = 1-Р_ош

x₁ не искажен y₁

 

искажен p(y₁/x₂) =P_ош

искажен p(y₂/x₁) =P_ош

 

 

x₂ не искажен y₂

p(y₂ / x₂)= 1-Р_ош

 

Рис. 2. Диаграмма переходных вероятностей симметричного канала

 

Условная  энтропия для симметричного канала равна

 

 

Пропускная  способность для двоичного, симметричного  канала

 

 (12)

 

Это уравнение Шеннона  для симметричного двоичного  канала.

Наличие ошибки приводит к уменьшению пропускной способности.

Так при p_ош = 0,01 пропускная способность равна C = 0,9/t = 0,9C_max.

Основная  теорема Шеннона о кодировании  для дискретного канала с помехами: Для дискретного канала с помехами существует такой способ кодирования, который позволяет осуществлять безошибочную передачу информации, если производительность источника ниже пропускной способности

Пример. Определить скорость передачи по двоичному, симметричному каналу связи , если шумы в канале вносят ошибки, таким образом, что в среднем 4 символа из 100 принимаются неверно (т.е. «1» вместо «0» и наоборот).

 

Решение:

Составим таблицу вероятностей:

 

p(x₀) = 0,5; p(y₀/ x₀) = 0,96;

p(x₁) = 0,5; p(y₁/ x₀) = 0,04;

p(y₀) = 0,5; p(y₀/ x₁) = 0,04;

p(y₁) = 0,5; p(y₁/ x₁) = 0,96.

 

Пропускная  способность для двоичного, симметричного  канала

 

 

Пропускная способность  непрерывного канала связи

 

Непрерывный канал передачи информации содержит совокупность средств  для передачи непрерывных сигналов, при этом вместо кодирующих и декодирующих устройств используются различного рода преобразователи (модуляция и т.д.). Входные и выходные сигналы в непрерывном канале связи представляют ансамбли непрерывных функций с соответствующими плотностями распределений вероятности.

Если  на вход непрерывного канала связи  поступает непрерывный сигнал X(t) длительностью T, то вследствие воздействия помех f(t) выходной сигнал Y(t) будет отличаться от входного. При этом количество информации в сигнале Y(t) о сигнале X(t) равно:

 

. (13)

 

Непрерывный сигнал, можно рассматривать как  дискретный при . Он может быть представлен в виде решетчатой функции, при этом на приемной стороне по отдельным взятым отсчетам через интервал Dt может быть восстановлен исходный непрерывный сигнал.

Шаг квантования Dt = T/n, где n – число точек отсчета. В соответствии с теоремой Котельникова Dt = 1/2f_c, где f_c - частота среза а n = 2Tf_c – база сигнала.

При этом в выражении (13) для взаимной информации вместо разности энтропии можно записать разности соответствующих дифференциальных энтропий отдельных отсчетов

 

.

          Пропускная способность непрерывного канала связи

 

(14)

 

Для дискретного канала связи максимальное значение скорости передачи соответствует равновероятным символам алфавита. Для непрерывного канала связи, когда заданной является средняя мощность сигнала, максимальная скорость обеспечивается при использовании нормальных центрированных случайных сигнала.

Если  сигнал центрированный (m_x = 0) т.е. без постоянной составляющей при этом мощность покоя равна нулю (P₀ = 0). Условие центрированности обеспечивает максимум дисперсии при заданной средней мощности сигнала

Если сигнал имеет нормальное распределение, то априорная дифференциальная энтропия каждого отсчета максимальна.

Поэтому при расчете пропускной способности  непрерывного канала считаем, что по каналу передается непрерывный сигнал с ограниченной средней мощностью – P_c и аддитивная помеха (y = x+f) также с ограниченной средней мощностью – P_n типа белого (гауссова) шума.

Так как  помеха аддитивна, то дисперсия выходного  сигнала равна

.

 

Для того, чтобы энтропия была максимальна  для сигнала с ограниченной мощностью, он должен быть гауссовым, при этом

          .

 

Для того чтобы помеха была максимальна, она тоже должна быть гауссова

 

.

 

При этом пропускная способность непрерывного канала должна быть равна пропускной способности сигнала

 

. (15)

 

Таким образом, скорость передачи информации с ограниченной средней мощностью максимальна, если и сигнал, и помеха являются гауссовыми, случайными процессами.

Пропускную  способность канала можно изменять, меняя ширину спектра сигнала  – f_c его мощность – P_c. Но увеличение ширины спектра увеличивает мощность помехи – P_n, поэтому соотношение между полосой пропускания канала и уровнем помех выбирается компромиссным путем.

Если  распределение f(x) источника непрерывных сообщений отличается от нормального, то скорость передачи информации – С будет меньше. Используя, функциональный преобразователь, можно получать сигнал с нормальным законом распределения.

Обычно p_c/p_п >>1, при этом пропускная способность непрерывного канала равна С_п = F_кD_к. Связь между емкостью и пропускной способностью канала связи имеет вид V_к = T_к F_к D_к = T_к С_п.

Теорема Шеннона для  непрерывного канала с шумом. Если энтропия источника непрерывных сообщений сколь угодно близка к пропускной способности канала, то существует метод передачи, при котором все сообщения источника будут переданы со сколь угодно высокой верностью воспроизведения.

Пример. По непрерывному каналу связи, имеющим полосу пропускания F_k = 1 кГц, передается полезный сигнал X(t), представляющий собой нормальный случайный процесс с нулевым математическим ожиданием и дисперсией = 4 мВ. В канале действует независимый от сигнала гауссов шум F(t) с нулевым математическим ожиданием и дисперсией = 1 мВ.

Определить:

– дифференциальную энтропию входного сигнала;

– дифференциальную энтропию выходного сигнала;

– условную дифференциальную энтропию;

– количество информации в одном непрерывном отсчете процесса Y(t) относительно отсчета X(t);

– скорость передачи информации по непрерывному каналу с дискретным временем;

– пропускную способность непрерывного канала связи;

– определить емкость канала связи, если время его работы T = 10 м;

– определить количество информации, которое может быть передано за 10 минут работы канала;

– показать, что информационная емкость непрерывного канала без памяти с аддитивным гауссовым шумом при ограничении на пиковую мощность не больше информационной емкости такого же канала при той же величине ограничения на среднюю мощность.

 

          Решение:

Дифференциальная  энтропия входного сигнала

= 3,05 бит/отсчет.

 

Дифференциальная  энтропия выходного сигнала

 

=3,21 бит/отсчет.

 

Условная  дифференциальная энтропия

 

= 2,05 бит/отсчет.

 

Количество  информации в одном непрерывном  отсчете процесса Y(t) относительно отсчета X(t) определяется по формуле

 

I (X, Y) = h(x) – h (x/y) = h(y) – h (y/x) = 3,21–2,05 = 1,16 бит/отсчет.

 

Скорость  передачи информации по непрерывному каналу с дискретным временем определяется по формуле

 

=

= 2×10³× [3,21–2,05] = 2320 бит/с

 

Пропускная способность  непрерывного канала с помехами определяется по формуле

   

=2322 бит/с.

 

Докажем, что информационная емкость непрерывного канала без памяти с аддитивным гауссовым  шумом при ограничении на пиковую мощность не больше информационной емкости такого же канала при той же величине ограничения на среднюю мощность.

Математическое  ожидание для симметричного равномерного распределения

 

 

Средний квадрат для симметричного равномерного распределения