Понятие о теореме Шеннона

Скорость передачи информации по каналу связи равна количеству информации, даваемой в единицу времени:

Скорость передачи измеряется в битах в секунду или в бодах (1 бит/с=1 бод). Максимальная скорость передачи информации называется пропускной способностью канала связи:

Пусть источник с энтропией H передаёт эту информацию за время t ∆ по каналу с пропускной способностью I max. Тогда, если

то это количество информации может быть передано без искажений. Если, наоборот,

то передача информации без искажений невозможна. Это довольно ясное утверждение называется теоремой Шеннона (первой). Она накладывает ограничение на максимальную скорость передачи информации.

Вопросы для самоконтроля:

1. Что означает термин "информатика" и каково его происхождение?

2. Какие области знаний и административно-хозяйственной деятельности официально закреплены за понятием "информатика" с 1978 года?

3. Назовите основные составные части информатики и основные направления её применения.

4. Что подразумевается под понятием "информация" в бытовом, естественно-научном и техническом смыслах?

5. От кого (или чего) человек принимает информацию? Кому передает информацию?

6. Где и как человек хранит информацию?

7. Приведите примеры ситуаций, в которых информация

8. Приведите примеры информации:

а) достоверной и недостоверной;

б) полной и неполной;

в) ценной и малоценной;

г) своевременной и несвоевременной;

д) понятной и непонятной;

е) доступной и недоступной для усвоения;

ж) краткой и пространной.

9. Как определяется единица измерения количества информации?

Рассмотрим задачу на вычисление количества информации (энтропии):

Пример: вычислим количество информации (энтропию), образующейся при одном бросании игрального кубика.

Правильный однородный игральный кубик может упасть равновероятно любой своей гранью. Таким образом, имеем шесть равновероятных исходов (возможностью кубика встать на ребро следует пренебречь), n =6. Вероятность каждого из них равна 1/6. Тогда энтропия любого из результатов бросания кубика равна Hi =-log2(1/6)=log26=ln6/ln2≈2,58 бит.

Упражнения:

1. Вычислите количество информации (энтропию), образующуюся при одном бросании пирамиды.
2. Предположим, что имеются 3 автомобильные дороги, идущие от Парижа до Тулузы, и 4 — от Тулузы до Мадрида. Сколькими способами можно выбрать дорогу от Парижа в Мадрид через Тулузу? Попытайтесь найти систематический метод для последовательного нахождения решения так, чтобы можно было составить список способов, не пропустив ни одного из них.
3. Поезд находится на одном из восьми путей. Сколько бит информации содержит сообщение о том, где находится поезд?
4. Каков информационный объём сообщения "Я помню чудное мгновенье" при условии, что один символ кодируется одним байтом и соседние слова разделены одним пробелом?
5. Сколько бит необходимо, чтобы закодировать оценки: "неудовлетворительно", "удовлетворительно", "хорошо" и "отлично"?
6. Сколько байт памяти необходимо, чтобы закодировать изображение на экране компьютерного монитора, который может отображать 1280 точек по горизонтали и 1024 точек по вертикали при 256 цветах?
7. Решите уравнение: 8^x (бит) = 32 (Кбайт).
8. Решите систему уравнения:

2^х+2 (бит) = 8^y-5 (Кбайт),
2^2y-1 (Мбайт) = 16^x-3 (бит).