Пример 1. На шахматной доске в одной из клеток произвольным образом поставлена фигура. Априори все положения фигуры на доске одинаково вероятны. Определить информацию, получаемую от сообщения, в какой именно клетке находится фигура.
Решение. Энтропия системы 
с 
равновероятными состояниями равна 
; в данном случае
(дв. ед.),
т. е. сообщение содержит 6 двоичных единиц информации. Так как все состояния системы равновероятны, то ту же информацию несет и любое конкретное сообщение типа: фигура находится в квадрате е2.
Пример 2. В условиях примера 1 определить частную информацию от сообщения, что фигура находится в одной из угловых клеток доски.
Решение. Априорная вероятность состояния, о котором сообщается, равна
.
Частная информация равна
(дв. ед.).
Пример 3. Определить частную информацию, содержащуюся в сообщении впервые встреченного лица 
: «сегодня мой день рождения».
Решение. Априори все дни в году с одинаковой вероятностью могут быть днями рождения лица . Вероятность полученного сообщения 
. Частная информация от данного сообщения
(дв. ед.).
Пример 4. В условиях примера 3 определить полную информацию от сообщения, выясняющего, является ли сегодняшний день днем рождения впервые встреченного лица .
Решение. Система, состояние которой выясняется, имеет два возможных состояния: 
- день рождения и 
- не день рождения. Вероятности этих состояний 
; 
.
Полная информация равна:
(дв. ед.).
Пример 5. По цели может быть произведено независимых выстрелов; вероятность поражения цели при каждом выстреле равна 
. После 
-го выстрела 
производится разведка, сообщающая, поражена или не поражена цель; если она поражена, стрельба по ней прекращается. Определить из того условия, чтобы количество информации, доставляемое разведкой, было максимально.
Решение. Рассмотрим физическую систему 
- цель после -го выстрела. Возможные состояния системы будут
- цель поражена;
- цель не поражена.
Вероятности состояний даны в таблице:
|
|
|
| 
| 
|
Очевидно, информация, доставляемая выяснением состояния системы , будет максимальна, когда оба состояния и равновероятны:
,
откуда
,
где 
- знак двоичного логарифма.
Например, при 
получаем (округляя до ближайшего целого числа)
.
Пример 6. Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1,25 Кбайта.
Решение. Информационный объем сообщения переведем в биты:
I=1,25 Кбайт = 10 240 бит
Определим количество бит, приходящееся на один символ сообщения:
10240/2048 = 5 бит
Определим количество символов в алфавите:
N = 2I= 25= 32
Если информация выражена в двоичных единицах, то ей можно дать довольно наглядное истолкование, а именно: измеряя информацию в двоичных единицах, мы условно характеризуем ее числом ответов «да» или «нет», с помощью которых можно приобрести ту же информацию. Действительно, рассмотрим систему с двумя состояниями:
|
|
|
|
|
| 
| 
|
Чтобы выяснить состояние этой системы, достаточно задать один вопрос, например: находится ли система в состоянии ? Ответ «да» или «нет» на этот вопрос доставляет некоторую информацию, которая достигает своего максимального значения 1, когда оба состояния априори равновероятны: 
. Таким образом, максимальная информация, даваемая ответом «да» или «нет», равна одной двоичной единице.
Если информация от какого-то сообщения равна двоичным единицам, то она равносильна информации, даваемой ответами «да» или «нет» на вопросы, поставленные так, что «да» и «нет» одинаково вероятны.
В некоторых простейших случаях для выяснения содержания сообщения действительно удается поставить несколько вопросов так, чтобы ответы «да» и «нет» на эти вопросы были равновероятны. В таких случаях полученная информация фактически измеряется числом таких вопросов.
Если же поставить вопросы точно таким образом не удается, можно утверждать только, что минимальное число вопросов, необходимое для выяснения содержания данного сообщения, не меньше, чем информация, заключенная в сообщении. Чтобы число вопросов было минимальным, нужно формулировать их так, чтобы вероятности ответов «да» и «нет» были как можно ближе к 
.
Пример 7. Некто задумал любое целое число от единицы до восьми
,
а нам предлагается угадать его, поставив минимальное число вопросов, на каждый из которых дается ответ «да» или «нет».
Решение. Определяем информацию, заключенную в сообщении, какое число задумано. Априори все значения от 1 до 8 одинаково вероятны: 
, и формула (18.5.2) дает
.
Минимальное число вопросов, которые нужно поставить для выяснения задуманного числа, не меньше трех.
В данном случае можно, действительно, обойтись тремя вопросами, если сформулировать их так, чтобы вероятности ответов «да» и «нет» были равны.
Пусть, например, задумано число «пять», мы этого не знаем и задаем вопросы:
Вопрос 1. Число меньше пяти?
Ответ. Нет. (Вывод: - одно из чисел 5, 6, 7, 8.)
Вопрос 2. Число меньше семи?
Ответ. Да. (Вывод: - одно из чисел 5, 6.)
Вопрос 3. Число меньше шести?
Ответ. Да. (Вывод: число равно пяти.)
Легко убедиться, что тремя такими (или аналогичными) вопросами можно установить любое задуманное число от 1 до 8.
Задания для самостоятельного выполнения.
1. Какое количество информации несет в себе сообщение о том, что нужная вам программа находится на одной из восьми дискет?
| 2. Какое количество информации получит второй игрок при игре в крестики-нолики на поле 8х8, после первого хода первого игрока, играющего крестиками? | 
|
3.В рулетке общее количество лунок равно 128. Какое количество информации мы получаем в зрительном сообщения об остановке шарика в одной из лунок?
4.Происходит выбор одной карты из колоды в 32 карты. Какое количество информации мы получаем в зрительном сообщении о выборе определенной карты?
5.Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика, если в непрозрачном мешочке хранятся:
а) 25 белых, 25 красных, 25 синих и 25 зеленых шариков;
б) 30 белых, 30 красных, 30 синих и 10 зеленых шариков.
6.Какое количество вопросов достаточно задать вашему собеседнику, чтобы точно определить день и месяц его рождения?
7.Заполнить пропуски числами:
а) 5 Кбайт = __ байт = __ бит,
б) __ Кбайт = __ байт = 12288 бит;
в) __ Кбайт = __ байт = 213 бит;
г) __Гбайт =1536 Мбайт = __ Кбайт;
д) 512 Кбайт = 2__байт = 2__ бит.
8.Найти x из следующих соотношений:
а) 16x бит = 32 Мбайт;
б) 8x Кбайт = 16 Гбайт.
9. Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1/512 часть одного мегабайта.
10.Пользователь компьютера, хорошо владеющий навыками ввода информации с клавиатуры, может вводить в минуту 100 знаков. Мощность алфавита, используемого в компьютере равна 256. Какое количество информации в байтах может ввести пользователь в компьютер за 1 минуту.
11.Система оптического распознавания символов позволяет преобразовывать отсканированные изображения страниц документа в текстовый формат со скоростью 4 страницы в минуту и использует алфавит мощностью 65536 символов. Какое количество информации будет нести текстовый документ после 5 минут работы приложения, страницы которого содержат 40 строк по 50 символов.
Ответы
1. 3 бита.
2. 6 бит.
3. 7 бит.
4. 5 бит.
5. а) 2 бита;
б) » 1,9 бит.
6. 9 (5 для определения числа и 4 для определения месяца).
7. а) 5 Кбайт = 5120 байт = 40 960 бит;
б) 1,5 Кбайт = 1 536 байт = 12288 бит;
в) 1 Кбайт = 210 байт = 213 бит;
г) 1,5 Гбайт = 1536 Мбайт = 1 572 864 Кбайт;
д) 512 Кбайт = 219 байт = 222 бит.
8. а) х = 7;
б) х = 8.
9. 256 символов.
10.8 бит x 100 » 100 байт
11. 16 бит x 50 x 40 x 5 x 4 » 78 Кбайт