Вероятностный подход при измерении информации

Пусть в результате испытания наступило некоторое событие. Вероятность его наступления можно вычислить по формуле:

где N – количество всех возможных исходов испытания, K – количество исходов испытания, удовлетворяющих данному событию.

Количество информации в сообщении о том, что наступило одно из возможных событий можно вычислить по формуле:

где P – вероятность наступления события, х – количество информации в сообщении о том, что наступило данное событие.

Задача 1. В корзине лежат 16 шаров: 4 синих и 12 красных. Найти количество информации в сообщении о том, что из корзины наугад вынули синий шар.

N = 16

K = 4

P = K/N = 4/16 = 1/4

x = log₂(1/P) = log₂4 = 2 (бита)

Задача 2. В классе 32 ученика. Учитель вызывает одного из них к доске. Количество информации в сообщении «Вызвали девочку» равно двум битам. Найти количество мальчиков и девочек и количество информации в сообщении о том, что к доске вызвали мальчика.

N = 32

Пусть K_д – количество девочек, тогда (32-K_д) – количество мальчиков.

x = log₂(1 / P), отсюда P = 1 / 2^х

x_д = 2 бита

Р_д = 1 / 2² = 1/4

С другой стороны:

Р_д = K_д / N = K_д / 32

Р_м = (32-K_д)/ N = (32-K_д) / 32 = 1- K_д / 32

1/4 = K_д / 32

K_д = 8, К_м = 32-8 = 24

Р_м = 1-8/32 = 3/4

х_м = log₂(1 / P) = log₂(4/3) » 0,42

Итак, в классе 8 девочек и 24 мальчика, количество информации в сообщении о том, что вызвали мальчика равна 0,42 бит.

Задача 3. В ящике лежат красные, синие и желтые шары. Наугад вынули один шар. Информационный объем сообщения «Вынули красный шар» равен трем битам. Количество информации в сообщении «Вынули синий шар» равно двум битам. Известно, что в ящике 5 желтых шаров. Найти количество всех шаров.

Пусть K_кр – количество красных, K_с – количество синих, K_ж – количество желтых шаров, N – общее количество шаров.

x_кр = 3 бита

x_с = 2 бита

K_ж = 5

P = 1 / 2^х

P_кр = 1 / 2³ = 1/8

P_с = 1 / 2² = 1/4

P_ж = K_ж / N = 5/N

Так как вынуть из ящика можно либо красный, либо синий, либо желтый шар, то P_кр + P_с + P_ж =1.

1/8+1/4+5/N = 1

3/8 + 5/N = 1

5/N = 1-3/8

5/N = 5/8

N = 8

Итак, в ящике 8 шаров.

Примеры задач и решений

Задание 1

Количество информации в слове «Информатика» при условии, что для кодирования используется 32-значный алфавит, равно _______ битам(-ов).

Решение:

Количество информации, которое вмещает один символ N- элементного алфавита, равно Это известная формула Р. Хартли. В 32-значном алфавите каждый символ несет информации. В слове «Информатика» 11 символов. Количество информации в слове «Информатика» при кодировании в 32-значном алфавите равно

Задание N 2.

Растровый графический файл содержит черно-белое изображение с 2 градациями цвета (черный и белый) размером точек. Определите необходимый для кодирования цвета точек (без учета служебной информации о формате, авторстве, способах сжатия и пр.) размер этого файла на диске в байтах.

Решение:

Поскольку сказано, что изображение двуцветное, следовательно, для указания цвета одной точки достаточно двух значений, кодирующих белый или черный цвет. Два значения могут быть закодированы одним битом. Объем графического файла рассчитывается по формуле , где i – глубина цвета, а k – количество точек. Тогда объем графического файла равен . Учитывая, что получаем байтов. В реальности в графических документах кроме описания цвета точек присутствует еще и служебно-дополнительная информация (о формате записи, авторских правах, способах сжатия и пр.).

Задание1

Модему, передающему сообщения со скоростью 28 800 бит/с, для передачи 100 страниц текста в 30 строк по 60 символов каждая в кодировке ASCII потребуется ______ секунд (-ы).

Решение:

Объем текста равен битов. Для его передачи по модему потребуется секунд.

2) Принцип метода RGB заключается в следующем: известно, что любой цвет можно представить в виде комбинации трех цветов: красного (Red, R), зеленого (Green, G), синего (Blue, B). Другие цвета и их оттенки получаются за счет наличия или отсутствия этих составляющих.По первым буквам основных цветов система и получила свое название - RGB. Данная цветовая модель является аддитивной, то есть любой цвет можно получить сочетание основных цветов в различных пропорциях. При наложении одного компонента основного цвета на другой яркость суммарного излучения увеличивается. Если совместить все три компоненты, то получим ахроматический серый цвет, при увеличении яркости которого происходит приближение к белому цвету.

При 256 градациях тона (каждая точка кодируется 3 байтами) минимальные значения RGB (0,0,0) соответствуют черному цвету, а белому - максимальные с координатами (255, 255, 255). Чем больше значение байта цветовой составляющей, тем этот цвет ярче. Например, темно-синий кодируется тремя байтами (0, 0, 128), а ярко-синий (0, 0, 255).