Количество информации. Кодирование. Логические выражения
(методические указания и контрольные задания)
Определение количества информации
Единица измерения количества информации называется бит. Сообщение, уменьшающее неопределенность знаний человека в два раза, несет для него 1 бит информации.
Содержательный подход к измерению информации.
Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (равновероятность обозначает, что ни одно событие не имеет преимуществ перед другими). Тогда количество информации в битах, заключенное в этом сообщении Iи число N связаны формулой:
I=log2(N) или N=2I
Пример 1:
Вы подошли к светофору, когда горел желтый свет. Какое количество информации вы получите, если загорится другой сигнал светофора?
Решение: Так как может загореться или зеленый или красный свет, то события равновероятны и N=2, то есть I=log2(2)=1 бит.
Пример 2:
Сколько информации несет сообщение о том, что человек зашел в 3 подъезд 8 подъездного дома?
Решение: Так как номер подъезда не влияет на количество информации, из 8 равновероятных событий следует выбрать одно и N=8, то есть I=log2(8)=3 бита.
Пример 3. Сообщение о том, что человек проживает в третьем подъезде, несет 3 бита информации. Сколько подъездов в доме.
Решение: Задача обратная задаче из примера 2, то есть необходимо найти количество равновероятных событий: 3=log2(Х), тогда Х=23=8 подъездов.
Пример 4: Ваш друг живет на 4 этаже восьмиподъездного четырехэтажного дома. Сколько информации несет это сообщение?
Решение: Номер этажа, на котором живет ваш друг, не влияет на количество информации, тогда существует 32 разных варианта равновероятного события (8*4), из которых надо выбрать один, то есть N=32, а I=log2(32)=5 бит.
Общее количество информации можно записать как сумму неизвестной информации о разных равновероятных событиях, в примере 4 – про этажи и подъезды дома:
I=log2(8)+log2(4)=3+2=5, бит
Вероятностный подход к измерению информации.
Если информационный объект находится в одном из N возможных состояний с вероятностью Р. То количество информации (I) об этом:
I=log2 (1/p)
Вероятность события вычисляется по формуле: р=К/N,
где К – величина, показывающая сколько раз произошло событие, N – общее число возможных исходов события.
Если события равновероятны, то р=1/N и I=log2 (N)
Пример 5: В коробке 14 черных и 2 белых шара. Сколько информации несет сообщение, что из коробки вынули белый шар?
Решение: Всего в коробке 16 шаров, то есть N=16, р=2/16 – вероятность доставания белого шара, тогда I=log2 (1/p)=log2 (16/2)=log2 (8)=3 бита.
Пример 6: В коробке лежит 16 шаров, сообщение о том, что достали белый шар, несет 3 бита информации. Сколько белых шаров в корзине?
Решение: Задача обратная задаче из примера 5. Вероятность доставания белого шара р=х/16, где х – количество белых шаров, тогда
3=log2 (16/х) или 23=16/х, х=2 белых шара в коробке.
Пример 7: В коробке лежит 2 белых шара. Сообщение о том, что достали белый шар, несет 3 бита информации. Сколько шаров в коробке?
Решение: Задача обратная задачам из примеров 5 и 6. Вероятность доставания белого шара р=2/х, где х – общее количество шаров (N), тогда
3=log2 (х/2) или 23=х/2, х=16 шаров в коробке.
Алфавитный подход к измерению информации
Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте. Алфавитный подход является объективным, т.е. он не зависит от субъекта (человека), воспринимающего текст.
Множество символов, используемых при записи текста, называется алфавитом. Полное количество символов в алфавите называется мощностью (размером) алфавита. Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятно), то количество информации, которое несет каждый символ, вычисляется по формуле:
I=log2(N)
где N – мощность алфавита. Следовательно, в 2-х символьном алфавите каждый символ «весит» 1 бит; в 4-х символьном алфавите каждый символ несет 2 бита информации; в 8-ми символьном – 3 бита и т.д.
Один символ из алфавита мощностью 256 (28) несет в тексте 8 бит информации. Такое количество информации называется байт.
Если весь текст состоит из К символов, то при алфавитном подходе размер содержащейся в нем информации равен: I = К *i,
где i – информационный вес одного символа в используемом алфавите.
Если символы в тексте встречаются с разной частотой, как например, в русском алфавите (неравновероятно), тогда i – частота (вероятность появления букв (символов) в тексте.
Для измерения информации используются и более крупные единицы:
1 Кбайт (килобайт) = 210 байт = 1024 байта
1 Мбайт (мегабайт) = 220 байт = 1024 Кбайта= 1048576 байт
1 Гбайт (гигабайт) = 230 байт = 1024 Мбайта=1073741824 байта
Пример 8. Книга, набранная с помощью компьютера, содержит 150 страниц; на каждой странице – 40 строк, в каждой строке – 60 символов. Каков объем информации в книге?
Решение. Вся книга содержит 150*40*60=360000 символов. Мощность компьютерного алфавита равна 256. Один символ несет I=log2(256) = 8 бит=1 байт информации. Тогда объем информации в книге:
I = К i = 360000*1= 360 000 байт.
Объем всей информации в книге (в разных единицах):
360000/1024 = 351,5625 Кбайт.
351,5625/1024 = 0,34332275 Мбайт.
Пример 9: Объем информации в книге 80 Кбайт, всего в книге 16384 символов. Какова мощность алфавита, которым написана книга?
Решение: Задача обратная задаче из примера 8. Объем информации в книге 80*1024= 81920 бит, тогда информационный вес одного символа в используемом алфавите 81920/16384=5 бит. А мощность алфавита 5=log2(N) или 25=N, то есть N=32 символа мощность алфавита.
Пример 10:
Определить количество информации в слове «дом», если частота появления букв д-0,025; о-0,09;м-0,026.
Решение: В слове «дом» каждая буква встречается один раз, тогда общее количество информации в слове «дом» будет равно:
I = К i=1*0,025+1*0,09+1*0,026=0,141 бита.