Лекция: Информация, ее представление и измерение

 

Понятие информации является наиболее сложным для понимания и обычно во вводных курсах информатики не определяется, принимается как исходное базовое понятие, понимается интуитивно. Часто это понятие отождествляется неправильным образом с понятием "сообщение".

Понятие "информация" имеет различные трактовки в разных предметных областях. Например, информация может пониматься как:

• абстракция, абстрактная модель рассматриваемой системы (в математике);
• сигналы для управления, приспособления рассматриваемой системы (в кибернетике);
• мера хаоса в рассматриваемой системе (в термодинамике);
• вероятность выбора в рассматриваемой системе (в теории вероятностей);
• мера разнообразия в рассматриваемой системе (в биологии) и др.

Рассмотрим это фундаментальное понятие информатики на основе понятия "алфавит" ("алфавитный", формальный подход). Дадим формальное определение алфавита.

Алфавит – конечное множество различных знаков, символов, для которых определена операция конкатенации (приписывания, присоединения символа к символу или цепочке символов); с ее помощью по определенным правилам соединения символов и слов можно получать слова (цепочки знаков) и словосочетания (цепочки слов) в этом алфавите (над этим алфавитом).

Буквой или знаком называется любой элемент x алфавита X, где . Понятие знака неразрывно связано с тем, что им обозначается ("со смыслом"), они вместе могут рассматриваться как пара элементов (x, y), где x – сам знак, а y – обозначаемое этим знаком.

Пример. Примеры алфавитов: множество из десяти цифр, множество из знаков русского языка, точка и тире в азбуке Морзе и др. В алфавите цифр знак 5 связан с понятием "быть в количестве пяти элементов".

Конечная последовательность букв алфавита называется словом в алфавите (или над алфавитом).

Длиной |p| некоторого слова p над алфавитом Х называется число составляющих его букв.

Слово (обозначаемое символом ) имеющее нулевую длину, называется пустым словом: | | = 0.

Множество различных слов над алфавитом X обозначим через S(X) и назовем словарным запасом (словарем) алфавита (над алфавитом) X.

В отличие от конечного алфавита, словарный запас может быть и бесконечным.

Слова над некоторым заданным алфавитом и определяют так называемые сообщения.

Пример. Слова над алфавитом кириллицы – "Информатика", "инто", "ииии", "и". Слова над алфавитом десятичных цифр и знаков арифметических операций – "1256", "23+78", "35–6+89", "4". Слова над алфавитом азбуки Морзе – ".", ".. –", "– – –".

В алфавите должен быть определен порядок следования букв (порядок типа "предыдущий элемент – последующий элемент"), то есть любой алфавит имеет упорядоченный вид X = {x₁, x₂, …, x_n}.

Таким образом, алфавит должен позволять решать задачу лексикографического (алфавитного) упорядочивания, или задачу расположения слов над этим алфавитом, в соответствии с порядком, определенным в алфавите (то есть по символам алфавита).

Информация – это некоторая упорядоченная последовательность сообщений, отражающих, передающих и увеличивающих наши знания.

Информация актуализируется с помощью различной формы сообщений – определенного вида сигналов, символов.

Информация по отношению к источнику или приемнику бывает трех типов: входная, выходная и внутренняя.

Информация по отношению к конечному результату бывает исходная, промежуточная и результирующая.

Информация по ее изменчивости бывает постоянная, переменная и смешанная.

Информация по стадии ее использования бывает первичная и вторичная.

Информация по ее полноте бывает избыточная, достаточная и недостаточная.

Информация по доступу к ней бывает открытая и закрытая.

Есть и другие типы классификации информации.

Пример. В философском аспекте информация делится на мировоззренческую, эстетическую, религиозную, научную, бытовую, техническую, экономическую, технологическую.

Основные свойства информации:

• полнота;
• актуальность;
• адекватность;
• понятность;
• достоверность;
• массовость;
• устойчивость;
• ценность и др.

Информация – содержание сообщения, сообщение – форма информации

Любые сообщения измеряются в байтах, килобайтах, мегабайтах, гигабайтах, терабайтах, петабайтах и эксабайтах, а кодируются, например, в компьютере, с помощью алфавита из нуля и единицы, записываются и реализуются в ЭВМ в битах.

Приведем основные соотношения между единицами измерения сообщений:

1 бит (bi nary digi t – двоичное число) = 0 или 1,

1 байт 8 бит,

1 килобайт (1Кб) = 2¹³ бит,

1 мегабайт (1Мб) = 2²³ бит,

1 гигабайт (1Гб) = 2³³ бит,

1 терабайт (1Тб) = 2⁴³ бит,

1 петабайт (1Пб) = 2⁵³ бит,

1 эксабайт (1Эб) = 2⁶³ бит.

Пример. Найти неизвестные х и у, если верны соотношения:

128^y (К) = 32^x (бит);

2^x (М) = 2^y (байт).

Выравниваем единицы измерения информации:

2^7y (K) = 2^7y+13 (бит);

2^x (M) = 2^x+20 (байт).

Подставляя в уравнения и отбрасывая размерности информации, получаем:

2^7y+13 = 2^5x

2^x+20=2^y

Отсюда получаем систему двух алгебраических уравнений:

или, решая эту систему, окончательно получаем, x = –76,5, у = –56,5.

Для измерения информации используются различные подходы и методы, например, с использованием меры информации по Р. Хартли и К. Шеннону.

Количество информации – число, адекватно характеризующее разнообразие (структурированность, определенность, выбор состояний и т.д.) в оцениваемой системе. Количество информации часто оценивается в битах, причем такая оценка может выражаться и в долях бит (так как речь идет не об измерении или кодировании сообщений).

Мера информации – критерий оценки количества информации. Обычно она задана некоторой неотрицательной функцией, определенной на множестве событий и являющейся аддитивной, то есть мера конечного объединения событий (множеств) равна сумме мер каждого события.

Рассмотрим различные меры информации.

Возьмем меру Р. Хартли. Пусть известны N состояний системы S (N опытов с различными, равновозможными, последовательными состояниями системы). Если каждое состояние системы закодировать двоичными кодами, то длину кода d необходимо выбрать так, чтобы число всех различных комбинаций было бы не меньше, чем N:

Логарифмируя это неравенство, можно записать:

Наименьшее решение этого неравенства или мера разнообразия множества состояний системы задается формулой Р. Хартли:

H = log₂N (бит).

Пример. Чтобы определить состояние системы из четырех возможных состояний, то есть получить некоторую информацию о системе, необходимо задать 2 вопроса. Первый вопрос, например: "Номер состояния больше 2?". Узнав ответ ("да", "нет"), мы увеличиваем суммарную информацию о системе на 1 бит (I = log₂2). Далее необходим еще один уточняющий вопрос, например, при ответе "да": "Состояние – номер 3?". Итак, количество информации равно 2 битам (I = log₂4). Если система имеет n различных состояний, то максимальное количество информации равно I = log₂n.

Если во множестве X = {x₁, x₂,..., x_n} искать произвольный элемент, то для его нахождения (по Хартли) необходимо иметь не менее log_an (единиц) информации.

Уменьшение Н говорит об уменьшении разнообразия состояний N системы.

Увеличение Н говорит об увеличении разнообразия состояний N системы.

Мера Хартли подходит лишь для идеальных, абстрактных систем, так как в реальных системах состояния системы неодинаково осуществимы (неравновероятны).

Для таких систем используют более подходящую меру К. Шеннона. Мера Шеннона оценивает информацию отвлеченно от ее смысла:

где n – число состояний системы; р_i – вероятность (относительная частота) перехода системы в i-е состояние, а сумма всех p_i должна равняться 1.

Если все состояния рассматриваемой системы равновозможны, равновероятны, то есть р_i = 1/n, то из формулы Шеннона можно получить (как частный случай) формулу Хартли:

I = log₂n.

Пример. Если положение точки в системе из 10 клеток известно, например если точка находится во второй клетке, то есть

р_i = 0, i = 1, 3, 4, …, 10, р₂ = 1,

то тогда получаем количество информации, равное нулю:

I = log₂1 = 0.

Обозначим величину:

f_i = –nlog₂p_i.

Тогда из формулы К. Шеннона следует, что количество информации I можно понимать как среднеарифметическое величин f_i, то есть величину f_i можно интерпретировать как информационное содержание символа алфавита с индексом i и величиной p_i вероятности появления этого символа в любом сообщении (слове), передающем информацию.

В термодинамике известен так называемый коэффициент Больцмана

k = 1.38 * 10^–16 (эрг/град)

и выражение (формула Больцмана) для энтропии или меры хаоса в термодинамической системе:

Сравнивая выражения для I и S, можно заключить, что величину I можно понимать как энтропию из-за нехватки информации в системе (о системе).

Основное функциональное соотношение между энтропией и информацией имеет вид:

I+S(log₂e)/k=const.

Из этой формулы следуют важные выводы:

1. увеличение меры Шеннона свидетельствует об уменьшении энтропии (увеличении порядка) системы;
2. уменьшение меры Шеннона свидетельствует об увеличении энтропии (увеличении беспорядка) системы.

Положительная сторона формулы Шеннона – ее отвлеченность от смысла информации. Кроме того, в отличие от формулы Хартли, она учитывает различность состояний, что делает ее пригодной для практических вычислений. Основная отрицательная сторона формулы Шеннона – она не распознает различные состояния системы с одинаковой вероятностью.

Методы получения информации можно разбить на три большие группы.

1. Эмпирические методы или методы получения эмпирических данных.
2. Теоретические методы или методы построения различных теорий.
3. Эмпирико-теоретические методы (смешанные) или методы построения теорий на основе полученных эмпирических данных об объекте, процессе, явлении.

Охарактеризуем кратко эмпирические методы.

1. Наблюдение – сбор первичной информации об объекте, процессе, явлении.
2. Сравнение – обнаружение и соотнесение общего и различного.
3. Измерение – поиск с помощью измерительных приборов эмпирических фактов.
4. Эксперимент – преобразование, рассмотрение объекта, процесса, явления с целью выявления каких-то новых свойств.

Кроме классических форм их реализации, в последнее время используются опрос, интервью, тестирование и другие.

Охарактеризуем кратко эмпирико-теоретические методы.

1. Абстрагирование – выделение наиболее важных для исследования свойств, сторон исследуемого объекта, процесса, явления и игнорирование несущественных и второстепенных.
2. Анализ – разъединение целого на части с целью выявления их связей.
3. Декомпозиция – разъединение целого на части с сохранением их связей с окружением.
4. Синтез – соединение частей в целое с целью выявления их взаимосвязей.
5. Композиция — соединение частей целого с сохранением их взаимосвязей с окружением.
6. Индукция – получение знания о целом по знаниям о частях.
7. Дедукция – получение знания о частях по знаниям о целом.
8. Эвристики, использование эвристических процедур – получение знания о целом по знаниям о частях и по наблюдениям, опыту, интуиции, предвидению.
9. Моделирование (простое моделирование), использование приборов – получение знания о целом или о его частях с помощью модели или приборов.
10. Исторический метод – поиск знаний с использованием предыстории, реально существовавшей или же мыслимой.
11. Логический метод – поиск знаний путем воспроизведения частей, связей или элементов в мышлении.
12. Макетирование – получение информации по макету, представлению частей в упрощенном, но целостном виде.
13. Актуализация – получение информации с помощью перевода целого или его частей (а следовательно, и целого) из статического состояния в динамическое состояние.
14. Визуализация – получение информации с помощью наглядного или визуального представления состояний объекта, процесса, явления.

Кроме указанных классических форм реализации теоретико-эмпирических методов часто используются и мониторинг (система наблюдений и анализа состояний), деловые игры и ситуации, экспертные оценки (экспертное оценивание), имитация (подражание) и другие формы.

Охарактеризуем кратко теоретические методы.

1. Восхождение от абстрактного к конкретному – получение знаний о целом или о его частях на основе знаний об абстрактных проявлениях в сознании, в мышлении.
2. Идеализация – получение знаний о целом или его частях путем представления в мышлении целого или частей, не существующих в действительности.
3. Формализация – получение знаний о целом или его частях с помощью языков искусственного происхождения (формальное описание, представление).
4. Аксиоматизация – получение знаний о целом или его частях с помощью некоторых аксиом (не доказываемых в данной теории утверждений) и правил получения из них (и из ранее полученных утверждений) новых верных утверждений.
5. Виртуализация – получение знаний о целом или его частях с помощью искусственной среды, ситуации.

Пример. Для построения модели планирования и управления производством в рамках страны, региона или крупной отрасли нужно решить следующие проблемы:

1. определить структурные связи, уровни управления и принятия решений, ресурсы; при этом чаще используются методы наблюдения, сравнения, измерения, эксперимента, анализа и синтеза, дедукции и индукции, эвристический, исторический и логический методы, макетирование и др.;
2. определить гипотезы, цели, возможные проблемы планирования; наиболее используемые методы – наблюдение, сравнение, эксперимент, абстрагирование, анализ, синтез, дедукция, индукция, эвристический, исторический, логический и др.;
3. конструирование эмпирических моделей; наиболее используемые методы – абстрагирование, анализ, синтез, индукция, дедукция, формализация, идеализация и др.;
4. поиск решения проблемы планирования и просчет различных вариантов, директив планирования, поиск оптимального решения; используемые чаще методы – измерение, сравнение, эксперимент, анализ, синтез, индукция, дедукция, актуализация, макетирование, визуализация, виртуализация и др.

Суть задачи управления системой – отделение ценной информации от "шумов" (бесполезного, иногда даже вредного для системы возмущения информации) и выделение информации, которая позволяет этой системе существовать и развиваться.

Информационная система – это система, в которой элементы, структура, цель, ресурсы рассматриваются на информационном уровне (хотя, естественно, имеются и другие уровни рассмотрения).

Информационная среда – это среда (система и ее окружение) из взаимодействующих информационных систем, включая и информацию, актуализируемую в этих системах.

Установление отношений и связей, описание их формальными средствами, языками, разработка соответствующих описаниям моделей, методов, алгоритмов, создание и актуализация технологий, поддерживающих эти модели и методы, и составляет основную задачу информатики как науки, образовательной области, сферы человеческой деятельности.

Информатику можно определить как науку, изучающую неизменные сущности (инварианты) информационных процессов, которые протекают в различных предметных областях, в обществе, в познании, в природе.