Скорость передачи информации

Если источник выдает L элементарных сигналов в единицу времени, а средняя длина кода одного знака составляет K(A,a), то, очевидно, отношение L/K(A,a) будет выражать число знаков первичного алфавита, выдаваемых источником за единицу времени. Если с каждым из них связано среднее количество информации I(A), то можно найти общее количество информации, передаваемой источником за единицу времени – эта величина называется скоростью передачи или энтропией источника (обозначим ее J):

Энтропия источника, в отличие от пропускной способности, является характеристикой источника, а не канала связи.

Размерностью J, как и C, является бит/с. Рассмотрим канал без помех.

Согласно первой теореме Шеннона при любом способе кодирования

хотя может быть сколь угодно близкой к этому значению. Следовательно, всегда J C₀, то есть скорость передачи информации по каналу связи не может превысить его пропускной способности.

Как показано в теории Шеннона, данное утверждение справедливо как при отсутствии в канале помех (шумов) (идеальный канал связи), так и при их наличии (реальный канал связи).

 

3. Что подразумевается под объемом сигнала и объемом канала?

Объёмом сигнала является произведение V = FHT. В процессе передачи сигнала могут происходить изменения измерений как с сохранением объёма так и без. Это происходит вследствие следующих преобразований сигнала:

• Ограничение – изъятие из передачи одной или нескольких частей сигнала без сохранения информации, которая содержалась в изъятых частях. Например, ограничение речевого канала диапазоном 300 -3400 Гц.
• Трансформация – изменения одного или нескольких измерений за счёт изменения другого или других измерений с сохранением неизменного объёма (как у кубика пластилина). Например, уменьшить время передачи можно, увеличив ширину спектра сигнала или динамический диапазон, либо и то, и другое.
• Компандирование – включает два процесса, от которых пошло название: компрессия (сжатие) и экспандирование (расширение). На передающей стороне происходит сжатие сигнала в одном или нескольких измерениях, на приёмной – восстановление. Например, "выкусывание" пауз в речи на передающей стороне и восстановление на приёмной.

Следует иметь ввиду, что цифровой сигнал по своей физической природе является "аналоговым". Этот аналоговый сигнал (импульсный и дискретный) наделяется свойствами числа. В результате для его обработки становится возможным использование численных методов.

Любое сообщение в общем случае можно описать с помощью трех основных параметров: динамическим диапазоном Dс, шириной спектра частот DFс и длительностью передачи Тс. Произведение этих трех параметров называется объемом сигнал Vс=Dc DFсTс.

Конкретный канал связи обладает определенными физическими параметрами, от которых зависит возможность передачи по нему тех или иных сигналов.

Три основных параметра канала:

Т_к - время, в течение которого канал предоставляется для передачи сигнала

F_к - ширина полосы пропускания канала

Н_к - допустимое превышение сигнала над помехой, которое характеризуется разностью максимально допустимого сигнала Р_u(max) и уровня помех Р_ξψ (в логарифмическом масштабе).

Произведение указанных основных параметров канала принять называть объемом (емкостью) канала и обозначать

V_к = T_к·F_к·H_к.

При оценке возможностей передачи сигнала по каналу с заданными физическими характеристиками так же ограничимся рассмотрением трех основных параметров сигнала:

Т_с - длительность сигнала

F_с - ширина спектра сигнала

Н_с - превышение над помехой.

Н_с = log(p_u/p_ξ),

где

p_u - средняя мощность передаваемого сигнала,

p_ξ - средняя мощность помехи.

V_c = T_c·F_c·H_c - емкость передаваемого сигнала.

Необходимым условием принципиальной возможности неискаженной передачи сигнала по данному каналу является выполнение соотношения:

V_c ≤ V_к

Задание 2.

Написать формулы для расчета следующих величин:

Избыточность алфавита L источника дискретных сообщений.

Избыточность алфавита L источника дискретных сообщений определяется по формуле:

D=[ H_max(Z) - H(Z) ] / H_max(Z), где

H_max(Z) - максимально возможная энтропия, равная log L.

H(Z) - энтропия источника.

 

Производительность источника дискретных сообщений, непрерывных сообщений.

Производительностьисточника дискретных сообщений определяется по формуле:

I(Z) = H(Z)/t, где

H(Z) - энтропия источника;

t - длительность выдачи одного знака сообщения.

Под e - производительностью источника непрерывных сообщений H e (Z) понимают минимальное количество информации, которое необходимо создать источнику в единицу времени, чтобы любую реализацию zT (t) можно было воспроизвести с заданной вероятностью e.

H (Z)=v * min I (Z, U)

{p_Z(u)}

при V(Z, U)<  ²

 

Скорость передачи информации по дискретному каналу.

Используется 2 понятия скорости: техническая и информационная.

Под технической скоростью передачи V_T, называемой также скоростью манипуляции, подразумевают число элементарных сигналов (символов), передаваемых по каналу в единицу времени. Она зависит от свойств линии связи и быстродействия аппаратуры канала.

С учетом возможных различий в длительностях символов скорость:

V_T = 1/t_ср,

где t_ср - среднее значение длительности символа. При одинаковой длительности всех символов t_ср = t.

Единицей измерения технической скорости служит бод – скорость, при которой за 1 сек. передается 1 символ.

Информационной скоростью является среднее количество информации, которое передается по каналу в ед. времени.

(V, U) = V_T · I(V, U)

где V_T - скорость манипуляции; I(V, U) - среднее количество информации, переносимое одним символом.

Пропускная способность дискретного и непрерывного каналов.

Предельные возможности канала по передаче информации характеризуются его пропускной способностью.

Пропускная способность канала С_Д равна той максимальной скорости передачи информации по данному каналу, которой можно достигнуть при самых совершенных способах передачи и приема.

С_Д = max (V, U) = max V_T · I(V, U)

При заданном алфавите символов и фиксированных основных характеристиках канала (например: полоса частот, средняя и пиковая мощность передатчика) остальные характеристики должны быть выбраны такими, чтобы обеспечить наибольшую скорость передачи по нему элементарных сигналов, т.е. обеспечить максимальное значение V_T.

Максимум среднего количества информации, приходящейся на один символ принятого сигнала I(V, U), определяется на множестве распределений вероятностей между символами u₁, u₂,..., u_i,..., u_m (m – объем алфавита).

Пропускная способность канала, как и скорость передачи информации по каналу, измеряется числом двоичных единиц информации в секунду.

Так как при отсутствии помех имеет место взаимно-однозначное соответствие между множеством символов{V} на выходе и {U} на его входе,

I(V, U) = I(U, V) = H(U).

Максимум возможного количества информации на символ равен log m (m - объем алфавита), следовательно пропускная способность дискретного канала без помех

С_Д = V_T · log m

Следовательно, для увеличения скорости передачи информации по дискретному каналу каналу без помех и приближения её к пропускной способности канала последовательность букв сообщения должна подвергнуться такому преобразованию в кодере, при котором различные символы в его выходной последовательности появлялись бы по возможности равновероятно, а статистические связи между ними отсутствовали бы. Доказано, что это выполнимо для любой эргодической последовательности букв, если кодирование осуществлять блоками такой длины, при которой справедлива теорема об их асимптотической равновероятности.

При наличии помех соответствие между множествами символов на входе и выходе канала связи перестает быть однозначным. Среднее количество информации I(V, U), передаваемое по каналу одним символом, определяется в этом случае соотношением:

I(V, U) = H(V) – H_U(V) = H(U) – H_V(U)

Энтропия сигнала на выходе линии связи равна:

H(V) = - p(v_j) log p(v_j)

Если объем алфавита входных символов u равен m₁, а выходных символов v - m₂, то

(1)

Подставив H(V) и H_u(V) в выражение (1) получим:

Скорость передачи информации по каналу с помехами

Считая скорость манипуляции V_т предельно допустимой при заданных технических характеристиках канала, величину I(V, U) можно максимизировать посредством кодера канала (аналогично каналу без помех). Получаемое при этом предельное значение С_Д скорости передачи информации по каналу называют пропускной способностью дискретного канала связи с помехами:

С_Д=

, где - множество возможных распределений вероятностей входных сигналов.

Важно подчеркнуть, что при наличии помех пропускная способность канала определяет наибольшее количество информации в единицу времени, которое может быть передано со сколь угодно малой вероятностью ошибки.

Приблизиться к пропускной способности канала можно (аналогично каналу без помех: кодируя эргодическую последовательность, для которой справедлива теорема об асимптотической равновероятности длинных последовательностей).

Произвольно малая вероятность ошибки оказывается достижимой только в пределе, когда длина блоков становится бесконечной.

При удлинении кодируемых блоков возрастает сложность технической реализации кодирующих и декодирующих устройств и задержке в передаче сообщений, обусловленная необходимостью накопления требуемого числа букв в блоке.

Предельные возможности канала никогда не используются полностью. Степень его загрузки характеризуется коэффициентом использования канала

где – производительность источника сообщений, С_Д – пропускная способность канала

Поскольку нормальное функционирование канала возможно при изменении производительности источника в пределах , тогда теоретически может изменяться от 0 до 1.

Задание 3.

Решить задачу:

Определить избыточность сообщений, образованных с помощью алфавита, состоящего всего из двух знаков z₁ и z₂ с вероятностями появления соответственно p(z₁)= 0.9 и p(z₂)=0.1.

 

Решение:

Определение количества информации на символ сообщения, составленного из данного алфавита.

Количество информации на символ сообщения для символов данного алфавита, встречающихся с равными вероятностями:

H_max = log₂ 2 = ln 2/ln 2 = 1,0 бит/символ

Количество информации на символ сообщения для символов данного алфавита, встречающихся в сообщении с разными вероятностями:

H = – (0,9*log₂0,9 + 0,1*log₂0,1) = 0,3979 бит/символ.

 

Недогруженность символов в данном случае:

N = Н_max – Н = 1,0 – 0,3979 = 0,6021 бит/символ

Избыточность сообщений, составленных из данного алфавита.

D = 1 – (Н/Н_max) = 1 – (0,3979 / 1,0) = 0,61021

 

Список использованной литературы:

1. А.В.Власенко, В.И.Ключко «Теория информации». Краснодар Издательство КубГТУ 2003.

2. Игнатов В. А. «Теория информации и передачи сигналов», 1979.

3. Лидовский В. В. Учебное пособие по курсу «Теория информации», 2004.

4. Кавчук С. В. Сборник примеров и задач по теории информации, 2002.

5. Ломакин Д. В., Туркин А. И. Прикладная теория информации и кодирования, 1988.