Можно ли сказать, что чем больше книга, тем больше информации она содержит?
Разные люди, получившие одно и то же сообщение, по-разному оценивают его информационную ёмкость, то есть количество информации, содержащееся в нем. Это происходит оттого, что знания людей о событиях, явлениях, о которых идет речь в сообщении, до получения сообщения были различными. Поэтому те, кто знал об этом мало, сочтут, что получили много информации, те же, кто знал больше, могут сказать, что информации не получили вовсе. Количество информации в сообщении, таким образом, зависит от того, насколько ново это сообщение для получателя.
В таком случае, количество информации в одном и том же сообщении должно определяться отдельно для каждого получателя, то есть иметь субъективный характер. Но субъективные вещи не поддаются сравнению и анализу, для их измерения трудно выбрать одну общую для всех единицу измерения.
Таким образом, с точки зрения информации как новизны, мы не можем однозначно и объективно оценить количество информации, содержащейся даже в простом сообщении. Поэтому, когда информация рассматривается как новизна сообщения для получателя, не ставится вопрос об измерении количества информации.
Вероятностныйподход
Измерение информации в теории информации (информация как снятая неопределенность).
Сообщение, уменьшающее неопределенность знаний человека в два раза, содержит один бит информации.
Пример 1. Допустим, вы бросаете монету, загадывая, что выпадет: орел или решка?
Есть всего два варианта возможного результата бросания монеты. Причем, ни один из этих вариантов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны. Сообщение о том, что при броске монеты выпал «герб», содержит один бит информации (из двух возможных вариантов выбран один – неопределенность «какой из двух?» уменьшена в два раза).
Пример 2. Студент на экзамене может получить одну из четырех оценок: "отлично", "хорошо", "удовлетворительно", "неудовлетворительно". Причем, учится он очень неровно и может с одинаковой вероятностью получить любую оценку от «2» до «5». После экзамена на вопрос: "Что получил?" студент ответил: "Пять!". Сколько бит информации содержится в его ответе?
Чтобы подсчитать количество информации надо сокращать неопределенность знаний вдвое. Имеется 4 равновероятных исхода. В первый раз определим «2 или 3» или «4 или 5» (1 бит информации). Второе деление определит полученную оценку (еще 1 бит). Сообщение о том, что произошло одно из четырех равновероятных событий, несет 2 бита информации.
А можно в первое деление поинтересоваться «3 или 4»? Конечно можно. Если ответом будет «нет», то ясно, что оценка «2 или 5» и второе деление определит оценку.
А можно в первое деление поинтересоваться «Ты получил 3»? Можно, и, если повезет, мы за одно деление узнаем результат. А если не повезет, то придется выбирать из части «2 или 4 или 5» и провести еще два деления (всего три деления), чтобы узнать результат экзамена. Деление на равные части гарантированно дает наименьшее количество делений в самом плохом случае.
Формула Хартли
В 1928 году американским инженером Ральфом Хартли была предложена формула, связывающая количество информации с количеством исходов события. Обозначим I – количество информации, N – количество вариантов исхода некоторого события. При условии равной вероятности исходов формула Хартли записывается так:
N = 2I.
Из этого соотношения имеем I = log2N.
Чтобы получить один бит информации, нужно правильно задать элементарный вопрос (позволяющий дать ответ «да» или «нет») и получить на него ответ. Если информация представляет собой один из N возможных равноправных вариантов, то её величина равна логарифму N по основанию 2: I=log2 N.
Сообщение о том, что из тридцати двух вариантов теста выбран тринадцатый вариант, содержит пять бит информации (так как log232 = 5). Логарифм может принимать любые значения, в том числе и нецелые. Мы не можем задать полтора вопроса или π вопросов, но, тем не менее, дробное количество информации имеет смысл. Например, при каждом броске игральной кости с шестью гранями, игроки получают log26 бит информации (это примерно равно 2,585). Задав вопрос, допускающий три возможных ответа, мы получим log2 3 ≈ 1.5848... бит информации.
Требование равновероятности исходов некоторого события слишком жесткое. В естественных языках одни знаки встречаются чаще, другие реже. Клод Шеннон связал количество информации (в узком смысле слова), содержащееся в i -м знаке из некоторого набора знаков, с частотой появления p i такого знака как 
(часто встречающиеся знаки несут меньше информации, чем редко встречающиеся). Среднее количество информации на один произвольный знак будет равно 
бит.
Теория Шеннона позволяет делать теоретические оценки надёжности и избыточности кодов, оценивать пропускную способность каналов связи, но слишком сложна для «повседневного» использования.
Упражнения
Задача 1. Грише сказали, что следующий урок — математика. До этого он знал, что следующий урок — либо математика, либо физика, либо рисование, либо география. Сколько бит информации сообщили Грише?
Решение: Количество возможных вариантов следующего урока равно 4. Ответ: I=log2 4=2.
Задача 2. У Васи есть одна кость домино. Он признался, что у него дубль. Сколько информации он нам сообщил?
Решение: До признания Гриша скрывал log2 (28). После признания осталось 7 вариантов. Количество информации, которую он от нас скрывает, равно log2(7). Поэтому Гриша сообщил нам log2(28) - log2(7)= log2(28/7) = log2(4) = 2 бит.
Если обозначить сообщение буквой w, то
Если бы Гриша нам признался, что оба числа на его кости нечётные, то он нам сообщил log2(28/6)≈ 2.22 бит информации.
Значительная часть простых задач теории информации сводится к комбинаторным задачам, то есть к вычислению числа объектов с некоторой данной конфигурацией. Другая часть задач связана с вычислением функции ЭНТРОПИИ. Энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении.