Содержание
Алфавитный подход.. 1
Задачи.. 1
Формула Хартли.. 4
Задачи.. 4
Вероятностныйподход.. 5
Задачи.. 6
Темы рефератов.. 9
Список литературы... 9
Алфавитный подход
Количество информации подменяется понятием информационного объема сообщения. Письменное сообщение кодируется алфавитным языком, количество информации считается равным произведению количества символов сообщения на количество информации, содержащееся в каждом символе. Если, например, алфавит состоит из тридцати двух символов, то каждый символ содержит пять бит информации. Информационный объем сообщения из 35 символов такого алфавита равен 35 * 5 = 175 битам.
В широко используемом алфавите ASCII содержится 256 символов, и каждый символ содержит 8 бит информации (кодируется восемью двоичными символами). Соответственно, информационный объем сообщения из 35 символов равен 35 * 8 = 280 битам.
Единица измерения «бит» слишком мала для практического использования. Особое название имеет 4 бита — ниббл (полубайт, тетрада, четыре двоичных разряда)
Чаще используют более крупные единицы измерения:
1 байт = 8 бит
1 Кбайт = 210 байт
1 Мбайт = 210 Кбайт = 220 байт
1 Гбайт = 210 Мбайт = 230 байт
1Тбайт = 210 Гбайт = 240 байт
Задачи
Ответы к задачам
№ 20. 120
№ 21. Сообщение Мульти (400 бит) на 20 бит меньше сообщения племени Пульти
№ 22. 16
№ 23. 8
№ 24. 16384
№ 25. 1,5 Кбайт
№ 28. 4
Формула Хартли
Сообщение, уменьшающее неопределенность знаний человека в два раза, содержит один бит информации.
Формула Хартли. В 1928 году американским инженером Ральфом Хартли была предложена формула
N = 2I.
Формула связывает количество информации с количеством равновероятных исходов события: I – количество информации, N – количество вариантов исхода некоторого события. Из этого соотношения имеем
I = log2N.
Задачи
Вероятностныйподход
Вероятность события количественно характеризует возможность (шанс) осуществления этого события в ходе случайного эксперимента.
Представим, что у нас проводится эксперимент с пространством из n элементарных исходов, которые равновероятны (как в случае с броском монеты равновероятны события выпасть орлу или решке). Элементарные исходы являются несовместными событиями (несовместные события - это те, которые не могут произойти одновременно), поэтому вероятность каждого из них равна 1/n. Допустим, нас интересует событие А, которое наступает только при реализации благоприятных элементарных исходов, количество последних m (m< n). Тогда, согласно классическому определению, вероятность такого события:
Р(А)=m/n.
Пример 1. В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Очевидно, вероятность того, что при вытаскивании «не глядя» попадется белый шар больше, чем вероятность попадания черного. Во сколько раз?
Обозначим p— вероятность вытащить черный шар. Всего 50 элементарных исходов (можно вытащить любой из 50 шаров). Благоприятных исходов 10 (вытащили один из 10 черных шаров).
p = 10 / 50 = 0.2
Обозначим q — вероятность вытащить белый шар. Всего 50 элементарных исходов (можно вытащить любой из 50 шаров). Благоприятных исходов 40 (вытащили один из 40 белых шаров).
q = 40 / 50 = 0.8
Отсюда видно, что вероятность попадания белого шара в 4 раз больше, чем черного.
Пример 2. Сережа — лучший ученик в классе. Вероятность того, что за контрольную по математике Сережа получит «5» больше, чем вероятность получения двойки. Представим себе, что мы изучили успеваемость Сережи за несколько лет учебы. За это время он получил по математике 100 оценок. Из них: 60 пятерок, 30 четверок, 8 троек и 2 двойки. Допуская, что такое распределение оценок может сохраниться и в дальнейшем, вычислим вероятность получения каждой из оценок.
р(5) = 60/100 = 0,6; р(4) = 30/100 = 0,3; р(3) = 8/100 = 0,08; р(2) = 2/100 = 0,02.
| Вероятность выражается в долях единицы. В частном случае, вероятность достоверного события равна 1 (из 50 белых шаров вытащен белый шар); вероятность невозможного события равна нулю (из 50 белых шаров вытащен черный шар). Для любого события А справедливо неравенство: 0 <= P(A) <=1, n > 1, 0 <= m <=n. |
Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии. Например, сообщение о том, что Сережа получил двойку по математике, содержит больше информации для тех, кто его знает, чем сообщение о пятерке.
В естественных языках одни знаки встречаются чаще, другие реже. Клод Шеннон связал количество информации (в узком смысле слова), содержащееся в i -м знаке из некоторого набора знаков, с частотой появления p i такого знака как
(часто встречающиеся знаки несут меньше информации, чем редко встречающиеся). Среднее количество информации на один произвольный знак будет равно
бит.
Теория Шеннона позволяет делать теоретические оценки надёжности и избыточности кодов, оценивать пропускную способность каналов связи, но слишком сложна для «повседневного» использования
Пример 3. В задаче о шарах определим количество информации в сообщении о попадании белого шара и черного шара:
IБ = log2(1 / 0.8) = log2(1.25) = 0.321928; iЧ= log2(1 / 0.2) = log25 = 2.321928.
Пример 4. В алфавите племени МУМУ всего 4 буквы (А, У, М, К), один знак препинания (точка) и для разделения слов используется пробел. Подсчитали, что в популярном романе «Мумука» содержится всего 10000 знаков, из них: букв А — 4000, букв У — 1000, букв М — 2000, букв К — 1500, точек — 500, пробелов — 1000. Какой объем информации содержит роман?
Решение.
Поскольку объем книги достаточно большой, то можно допустить, что вычисленная по ней частота встречаемости в тексте каждого из символов алфавита характерна для любого текста на языке МУМУ. Подсчитаем частоту встречаемости каждого символа во всем тексте книги (т.е. вероятность) и информационные веса символов:
Общий объем информации в книге вычислим как сумму произведений информационного веса каждого символа на число повторений этого символа в книге:
Задачи
Ответы к некоторым задачам
Темы рефератов
Реферат оформить в виде презентации. Стиль – деловой, научный. Название, автор презентации, текст, примеры, графика. Ориентироваться на 5 минут доклада. Обязательны ссылки на источники, в том числе использованные Интернет-ресурсы.
1. К.Шеннон – биография Халилов, Осташев
2. К.Шеннон – краткое содержание работы "Математическая теория связи" (https://cm.bell-labs.com/cm/ms/what/shannonday/) Бутнарь, Шовкопляс
3. К.Шеннон – краткое содержание работы "Communication Theory of Secrecy Systems" Попов, Галлингер
4. Колмогоров А.Н. - краткое содержание работы «Три подхода к определению понятия “количество информации”» Уляшова, Булаев
5. Число сочетаний и треугольник Паскаля. Козлов
Список литературы
https://www.chronos.msu.ru/RREPORTS/korotaev_entropia/korotaev_entropia.htm
1. Шамбадаль П. Развитие и приложения понятия энтропии. М.: Наука, 1967 -290.
2. Шеннон К.Э. Работы по теории информации и кибернетике. М.: Ил., 1963 – 829с.
3. Мартин Н., Ингленд Дж. Математическая теория энтропий. М.: Мир. 1988 –251с.
4. Колмогоров А.Н. Три подхода к определению понятия “количество информации” // Проблемы передачи информации. 1965. Т.1. №1. С.3-11.
5. Колмогоров А.Н. К логическим основам теории информации и теории вероятностей // Проблемы передачи информации и теории вероятностей. 1969. Т.5.№3.С.3-7.
6. Тростников В.Н. Человек и информация. М.: Наука, 1970 – 188 с.
7. Яглом А.М., Яглом И.М. Вероятность и информация. М.: Наука, 1973 – 512 с.
8. Брюллюэн Л. Наука и теория информации. М.: Физматгиз, 1960 – 392с.
9. Коган И.М. Прикладная теория информации. М.: Радио и связь. 1981 – 216с.
10. Рейхенбах Г. Направление времени. М.: Ил, 1962 -316 с.
11. Хартли Р. Передача информации// Теория информации и ее приложения. М.: Физматгиз. 1959. – С. 5-35.
Принцип работы и устройство флеш-памяти
https://hobbyits.com/cifrovye-texnologii/princip-raboty-i-ustrojstvo-flesh-pamyati.html