Здесь используется вероятностный подход к определению количества информации.
Так как существует множество ситуаций, когда возможные события имеют различные варианты реализации.
Формулу для вычисления количества информации в случае разных вероятностей событий предложил в 1948 г. Клод Шеннон.
При следующих обозначениях:
N – проводилось всего опытов
k – типов исходов опытов
j – ый исход
nj – число повторений j – ого исхода
Ij – количество информации, вносимой опытом с j – ым исходом
pj – вероятность опыта с j – ым исходом.
Средняя информация в битах
I = - Σ pj log2 pj = H - энтропия
В статистической теории информации предполагается, что менее вероятное сообщение несет больше информации.
Свойства энтропии:
1) Энтропия всегда неотрицательна.
2) Энтропия равна нулю, когда об опыте все известно заранее и результат не дает новую информацию.
3) Энтропия имеет наибольшее значение, когда все вероятности равны между собой.
4) Энтропия объекта АВ, состояния которого образуются совместной реализацией А и В, равна сумме энтропий исходных объектов А и В.
В общем случае – количество информации – это есть уменьшение энтропии вследствие опыта или какого-либо другого акта познания.
Если события равновероятны и статистически независимы, то оценки количества информации по Хартли и Шеннону совпадают.
Избыточность информации определяется коэффициентом избыточности:
R=1-H/Hmax
где Н – энтропия сообщения,
Hmax – максимально возможная энтропия для сообщения данной длины.
Достоверность информации связана с вероятностью ошибки соотношением:
D = (1-Pош)*100%
Т.о., если вероятность ошибки равна нулю, то информация на 100% достоверна.
Решить задачи:
1) Проводятся три опыта: вытягивание карты из колоды, метание игральной кости, подбрасывание монеты. Определить сколько информации содержится в сообщениях о результатах каждого из них.
2) Определить информационную емкость экрана монитора в текстовом режиме, если известно, что количество символов в используемом алфавите (N) равно 256.
3) Компьютер работает в графическом режиме с разрешением 640*480 точек или пикселей и способен воспроизводить 256 цветов. Требуется определить максимальное количество информации, которое можно вывести на экран.
4) Имеется некоторое сообщение, переданное с помощью алфавита состоящего из трех букв (например: точка, тире, пауза). Пусть относительные частоты появления этих букв в тексте соответственно равны: 0.5, 0.25, 0.25. Требуется определить среднее количество информации, приходящееся на одну букву в этом сообщении.
5) Сообщение, скопированное с экрана компьютера, содержит 200 знаков. При их кодировании была использована таблица ASCII кодов, содержащая 256 символов. Требуется определить избыточность информации.
Семантическая мера информации.
Среди семантических мер наиболее распространены:
- содержательность,
- логическое количество,
- целесообразность,
- существенность информации.
Мера целесообразности (ценность информации) информации определяется как изменение вероятности достижения цели при получении дополнительной информации.
Iцел = log2 p1 - log2 p0 = log2 (p1/ p0)
где p1 и p0 начальная (до получения информации) и конечная (после получения информации) вероятности достижения цели.
Категории информатики
Вся система категорий (понятий) информатики состоит из трех элементов:
1. понятия, заимствованные информатикой из других наук (информация, информационный шум, бит, байт – из математической теории связи);
2. оригинальные понятия и аксиомы, отличающиеся принципиальной новизной (информационный ресурс, социальная энтропия, информационные технологии, искусственный интеллект…);
3. понятия более низких иерархий, раскрывающие содержание каждого из основных понятий.
Информационный ресурс – это знание, ставшее информацией. Это симбиоз знаний и информации.
Знание – это отражение той или иной стороны объективной действительности, выраженное в виде идей, понятий, представлений о каком-либо предмете или явлении.
Особенности информационного ресурса:
- это интеллектуальный ресурс, фактор коллективного творчества;
- практически не исчерпаем; по мере развития общества и роста потребления знаний их запасы не убывают, а растут;
- по мере использования не исчезает, а сохраняется и даже увеличивается;
- не самостоятелен и сам по себе имеет лишь потенциальное значение;
- является формой непосредственного включения науки в состав производительных сил;
- возникает в результате не просто умственного труда, а его творческой части.
Существует две формы информационного ресурса:
- пассивная (книги, статья, патенты, …)
- активная (модель, алгоритм, проект, программа,…)
Информационное общество - это общество, структуры техническая база и человеческий потенциал которого приспособлены для оптимального превращения знаний в информационный ресурс и переработки последнего с целью перевода пассивных форм в активные.
Социальная энтропия – это мера отклонения от некоторого состояния, принимаемого за эталонное по критерию недоиспользования информационного ресурса.
Информационная среда – это весь набор условий для технической переработки и эффективного использования знаний в виде информационного ресурса. (аппаратные средства, программное обеспечение, телекоммуникации, уровень подготовки кадров)
Информационное поле – поле, посредством которого осуществляется взаимодействие целевого, проектируемого и исходного состояний системы и ее элементов.
Напряженность информационного поля - это сила, с которой объект и его среда действуют на управляющую подсистему, вызывая ее действие по снятию возникшей новой энтропии.
Зависит от двух факторов: 1) разницы энтропий целевого и исходного состояний системы (энтропийного пространства), 2) времени достижения новой цели (энтропийного времени).
Аксиомы информатики
Это фундаментальные соотношения.
Сложные системы управления имеют иерархическую структуру: наблюдатель, управляющая подсистема, управляемая подсистема. Главный, верхний элемент управляющей подсистемы называется наблюдателем.
Аксиома 1. К каждому элементу управляющей подсистемы от наблюдателя идет исходный информационный поток равный:
Iисх = NH
N - количество сигналов (команд, данных…) исходящих от наблюдателя;
H - энтропия этих сигналов.
Аксиома 2. Информационная напряженность каждого элемента qi определяется информационным воздействием на него наблюдателя (исходным информационным потоком) с учетом энтропии данного элемента Hi
qi = Iисх / Hi i=1..m число элементов системы
Hi является показателем способности элемента к функционированию с учетом обратной связи с объектом.
Например,
При Нi = 0.5 элемент в 2 раза усиливает направленный на него информационный поток. (при 0<Hi<1)
При Нi = 1 рассматриваемый элемент управляющей подсистемы только воспринимает команды наблюдателя и не вырабатывает собственной информации.
При Нi = 0 управляющий элемент осуществляет управление объектом полностью самостоятельно, независимо от наблюдателя.
Аксиома 3. Информационная напряженность всей управляющей подсистемы равна сумме напряженности всех ее элементов, включая наблюдателя
Q=Σ qi i=1..m
Аксиома 4. устанавливает соотношение между полным информационным потоком Iпол, информационной напряженностью Q и энергией объекта E, затрачиваемой объектом на переход в новое состояние
E = Q - Iпол
Полный информационный поток соответствует полезной работе управляющей подсистемы за весь период перехода объекта в новое состояние.
Аксиома 5. Работа управляющей подсистемы А состоит из двух частей
А = a + b
Аксиома 6. Полезная работа подсистемы b должна соответствовать полному информационному потоку за рассматриваемый период времени.
b = Iпол