Содержательный подход при измерении информации

ИЗМЕРЕНИЕ ИНФОРМАЦИИ

 

Под информацией понимают некоторые сведения, уменьшающие существовавшую до их получения неопределенность.

За единицу измерения количества информации принят 1 бит. Он соответствует одному двоичному разряду (0 или 1).

Если после получения какого-то сообщения неопределенность знаний уменьшается в два раза, то это сообщение несет в себе 1 бит информации.

Более крупой единицей измерения количества информации является байт (1 байт = 8 бит). Существуют и другие единицы измерения количества информации:

1 Килобайт (Кб) = 2¹⁰ байт = 1024 байт

1 Мегабайт (Мб) = 2¹⁰ Кб = 2²⁰ байт

1 Гигабайт (Гб) = 2¹⁰ Мб = 2²⁰ Кб = 2³⁰ байт

1 Терабайт (Тб) = 2¹⁰ Гб = 2²⁰ Мб = 2³⁰ Кб = 2⁴⁰ байт

 

Задача 1. Сколько бит содержится в 0,5 Кб?

 

0,5 Кб = 0,5×2¹⁰ байт = 0,5×2¹⁰×8 бит = 2¹² бит = 1024×4 бит = 4096 бит

 

Задача 2. Определить, сколько файлов размером по 100 Кб каждый можно записать на дискете, емкостью 1,44 Мб.

 

1,44 Мб = 1,44×2¹⁰ Кб

14,74 »14 (файлов)

1,44×2¹⁰ 1474,56

100 100

 

Измерение информации в тексте

При измерении количества информации в тексте, записанном с помощью N-символьного алфавита, используют следующие формулы:

I = i ×k,

i = log₂N,

N = 2ⁱ,

где I – количество информации в тексте, i – количество информации, которое несет один символ (в битах), k – количество символов в тексте, N – мощность алфавита.

 

Задача 1. Сообщение, записанное с помощью 64-символьного алфавита, занимает 3 страницы, на каждой странице по 240 символов. Найти количество информации в сообщении (в байтах).

 

i = log₂N = log₂64 = log₂2⁶ = 6×log₂2 = 6×1 = 6 (бит)

k = 3×240 = 720 (символов)

I = i×k = 6×720 = 4320 (бит)

4320 бит = 4320:8 байт = 540 байт

 

Задача 2. Сообщение, содержащее 64 символа, несет 1/16 часть Кб. Найти мощность алфавита, с помощью которого записано сообщение.

 

23 бит = 8 бит

I = i×k, отсюда i = I/k

i

1/16 Кб 1/16×2¹⁰×8 бит 1×2¹⁰×2³ бит 2¹³ бит

64 64 16×64 2¹⁰

N = 2ⁱ = 2⁸ = 256

 

Задача 3. Сообщение, записанное с помощью 128-символьного алфавита, занимает 20 страниц. Каждая страница содержит 24 строки. Все сообщение содержит 210 Кб информации. Найти количество символов в каждой строке.

 

Пусть х – количество символов в строке, тогда k = 20×24×x, х = k /480.

i = log₂N = log₂128 = log₂2⁷ = 7×log₂2 = 7×1 = 7 (бит)

I = 210 Кб = 210×2¹⁰×8 бит = 210×2¹³ бит

k = I / i = 210×2¹³ / 7 = 30×2¹³ (символов)

х = 30×2¹³/480 = 2⁹ = 512 (символов)

 

Содержательный подход при измерении информации

Как отмечалось выше, если после получения какого-то сообщения неопределенность знаний уменьшается в два раза, то это сообщение несет в себе 1 бит информации. Т.е., если событие имеет два исхода, то при наступлении каждого из них неопределенность знаний уменьшается в два раза. Количество информации в сообщении о том, что наступило одно из этих событий, равно 1 биту.

Таким образом, количество информации, полученное из сообщения о том, что наступило одно из N равновозможных событий, можно вычислить по формуле:

х = log₂N,

где х – количество информации в сообщении (в битах), N – количество равновозможных (равновероятных) событий, только одно из которых наступило.

 

Задача 1. Бросают игральный кубик. Найти количество информации в сообщении о том, что выпало число 5.

 

N = 6

х = log₂N = log₂6 » 2,58 бит

 

Задача 2. В корзине лежат 8 шаров, все разного цвета. Найти количество информации в сообщении о том, что наугад вынули красный шар.

 

N = 8

х = log₂N = log₂8 = 3 бита

 

 

Задача 3. При угадывании целого числа в диапазоне от 1 до N было получено 1 байт информации. Найти N.

 

х = log₂N, отсюда N = 2^x

x = 1 байт = 8 бит

N = 2⁸ = 256