Информация, ее измерение и представление в компьютере




Информация – это обозначение содержания, полученного от внешнего мира в процессе приспособления к нему (Н. Винер).

Информация – отрицательная энтропия (негэнтропия) (Л. Бриллюэн).

Информация – вероятность выбора (А. М. Яглом, И. М. Яглом).

Информация – снятая неопределенность (К. Шеннон).

Информация – мера сложности структур, мера упорядоченности материальных систем (А. Моль).

Информация - снятая неразличимость, передача разнообразия (У.Р. Эшби).

Информация – отраженное разнообразие (А. Д. Урсул).

Информация – мера неоднородности распределения материи и энергии в пространстве и времени (В. М. Глушков).

По определению А. Д. Урсула - «информация есть отраженное разнообразие». Количество информации есть количественная мера разнообразия. Это может быть разнообразие совокупного содержимого памяти; разнообразие сигнала, воспринятого в процессе конкретного сообщения; разнообразие исходов конкретной ситуации; разнообразие элементов некоторой системы… - это оценка разнообразия в самом широком смысле слова.

Любое сообщение между источником и приемником информации имеет некоторую продолжительность во времени (длину сообщения), но количество информации воспринятой приемником в результате сообщения, характеризуется в итоге вовсе не длиной сообщения, а разнообразием сигнала порожденного в приемнике этим сообщением.

Память носителя информации имеет некоторую физическую ёмкость, в которой она способна накапливать образы, и количество накопленной в памяти информации, характеризуется в итоге именно разнообразием заполнения этой ёмкости. Для объектов неживой природы это разнообразие их истории, для живых организмов это разнообразие их опыта.

Однообразные пейзажи снежных или песчаных пустынь – отраженное однообразие температурного режима, разнообразие средней полосы – отражение разнообразия ее природных факторов.

Разнообразие человеческого опыта, отражается в мироощущении: однообразие сужает кругозор, разнообразие – расширяет. Сидение в четырех стенах сужает мир до размера квартиры, наличие в квартире телевизора – расширяет мир до размеров планеты. Тяга к путешествиям, общению, новым знакомствам, новому опыту, новым ощущениям это тяга к получению новых, ранее не известных впечатлений в память, новых образов, следовательно, новой информации.

нарисовать белым по белому, одного состояния недостаточно. Если ячейка памяти способна находиться только в одном (исходном) состоянии и не способна изменять свое состояние под внешним воздействием, это значит, что она не способна воспринимать и запоминать информацию. Информационная емкость такой ячейки равна 0.

Минимальное разнообразие обеспечивается наличием двух состояний. Если ячейка памяти способна, в зависимости от внешнего воздействия, принимать одно из двух состояний, которые условно обозначаются обычно как «0» и «1», она обладает минимальной информационной ёмкостью.

Информационная ёмкость одной ячейки памяти, способной находиться в двух различных состояниях, принята за единицу измерения количества информации - 1 бит.

1 бит (bit - сокращение от англ. bi nary digi t - двоичное число) - единица измерения информационной емкости и количества информации, а также и еще одной величины – информационной энтропии, с которой мы познакомимся позже. Бит, одна из самых безусловных единиц измерения. Если единицу измерения длины можно было положить произвольной: локоть, фут, метр, то единица измерения информации не могла быть по сути никакой другой.

На физическом уровне бит является ячейкой памяти, которая в каждый момент времени находится в одном из двух состояний: « или «.

Если каждая точка некоторого изображения может быть только либо черной, либо белой, такое изображение называют битовым, потому что каждая точка представляет собой ячейку памяти емкостью 1 бит. Лампочка, которая может либо «гореть », либо «не гореть » также символизирует бит. Классический пример, иллюстрирующий 1 бит информации – количество информации, получаемое в результате подбрасывания монеты – “ орел ” или “ решка ”.

Количество информации равное 1 биту можно получить в ответе на вопрос типа «да »/ «нет ». Если изначально вариантов ответов было больше двух, количество получаемой в конкретном ответе информации будет больше, чем 1 бит, если вариантов ответов меньше двух, т.е. один, то это не вопрос, а утверждение, следовательно, получения информации не требуется, раз неопределенности нет.

Информационная ёмкость ячейки памяти, способной воспринимать информацию, не может быть меньше 1 бита, но количество получаемой информации может быть и меньше, чем 1 бит. Это происходит тогда, когда варианты ответов «да» и «нет» не равновероятны. Неравновероятность в свою очередь является следствием того, что некоторая предварительная (априорная) информация по этому вопросу уже имеется, полученная, допустим, на основании предыдущего жизненного опыта. Таким образом, во всех рассуждениях предыдущего абзаца следует учитывать одну очень важную оговорку: они справедливы только для равновероятного случая.

Количество информации мы будем обозначать символом I, вероятность обозначается символом P. Напомним, что суммарная вероятность полной группы событий равна 1.

Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия, точнее информационная энтропия.

Энтропия (H)мера неопределенности, выраженная в битах.

ВЕРОЯТНОСТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ. Первая формула вероятностного подхода к измерению количества информации была предложена в 1928 г. Ральфом Хартли, вторая формула - в 1948 году - Клодом Шенноном.
Формула Хартли. Р. Хартли рассматривал процесс получения информации как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N:
Формула Шеннона. К.Шеннон предложил другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе:
Пример использования формулы Шеннона-Хартли. Определить количество информации, получаемое при реализации одного из событий, если бросают: а) несимметричную четырехгранную пирамидку; б) симметричную и однородную четырехгранную пирамидку. Решение. а) Будем бросать несимметричную четырехгранную пирамидку (т.е. выпадение каждой грани имеет разную вероятность). Пусть вероятность отдельных событий будет такова: р1 = 1/2, р2 = 1/4, р3 = 1/8, р4 = 1/8, тогда количество информации, получаемой после реализации одного из этих событий, рассчитывается по формуле: I = -(1/2 log2 1/2 + 1/4 log2 1/4 + 1/8 log2 1/8 + 1/8 log2 1/8) = 1/2 + 2/4 + 3/8 + 3/8 = 14/8 = 1,75 (бит). б) Теперь рассчитаем количество информации, которое получится при бросании симметричной и однородной четырехгранной пирамидки (т.е. выпадение каждой грани - событие равновероятное): I = log2 4 = 2 (бит).


Поделиться:




Поиск по сайту

©2015-2024 poisk-ru.ru
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2017-10-25 Нарушение авторских прав и Нарушение персональных данных


Поиск по сайту: