Информация передаётся в форме сообщений от некоторого источника информации к её приёмнику посредством канала связи между ними. Источник посылает передаваемое сообщение, которое кодируется в передаваемый сигнал. Этот сигнал посылается по каналу связи. В результате в приёмнике появляется принимаемый сигнал, который декодируется и становится принимаемым сообщением.
Рисунок 3 – Передача информации
Передача информации по каналам связи часто сопровождается воздействием помех, вызывающих искажение и потерю информации.
В определенных, весьма широких условиях можно пренебречь качественными особенностями информации, выразить её количество числом, а также сравнить количество информации, содержащейся в различных группах данных.
Меры и единицы количества и объема информации
 |
Рисунок 4 – Меры информации
Синтаксическая мера
Объем информации. Единица количества информации (бит) является такой же фундаментальной единицей, как и метр, килограмм, секунда и другие (но не относится к физическим единицам).
1 бит – это количество информации, образующееся в результате проведения опыта, имеющего два равновероятных несовместных исхода.
Например: информация, содержащаяся в результате бросания монеты (выпадение одной из двух её сторон: «орла» или «решки») равна 1 биту; вероятности рождения мальчика или девочки можно считать близкими к 0,5, следовательно, количество информации, соответствующей рождению именно мальчика (или девочки) равно также одному биту.
Бит – наименьшая единица информации, на практике применяются более крупные: байт, килобит, килобайт, мегабайт и другие (см. ниже).
Более крупные производные единицы количества информации:
1 слово (word) = 2 байт (применяется в практике программирования). Используются
также понятия двойное слово (dword) = 4 байта, счетверённое слово (qword) = 8 байт и др.
Для построения существуют бинарные и унарные операции.
Количество информации. Рассмотрим определение количества информации в общем случае. Если источник информации может находиться в одном из n дискретных состояний с вероятностью pi в каждом из них (i =1, 2, …, n), то в качестве меры неопределённости можно ввести функцию H, называемую энтропией. Будем называть каждое возможное состояние источника информации сообщением. Энтропия i -го сообщения, по определению, равна 
Логарифмы берутся здесь по основанию 2 для удобства, чтобы энтропия любого из двух равновероятных и несовместных событий (при p 1= p 2=0,5) равнялась единице. Очевидно также, что энтропия достоверного события (pi=1) равна нулю. Наоборот, чем менее вероятно некоторое событие, тем больше его энтропия, это и понятно, ведь более редким событиям приписывается большая информационная значимость.
Энтропией источника называется среднее значение энтропии сообщения: 
Это определение энтропии, предложенное Клодом Шенноном, считается классическим. Аналогично можно определить энтропию приёмника информации. Если энтропию приёмника информации до прихода некоторого сообщения обозначить H 0, а значение энтропии после получения сообщения H 1, то разность этих величин H 1- H 0 (изменение энтропии) будет равна количеству информации, содержащейся в сообщении:
Примечание: Для вычисления логарифма по основанию 2 можно использовать тождество
1 бит (англ. binary digit – двоичная цифра) – основная единица количества информации. Бит имеет два значения (0 или 1, истина или ложь и т. п.) и позволяет закодировать одно из двух состояний какого-либо объекта (например, наличие или отсутствие тока или напряжения в цепи, направление намагниченности и другое).
1 байт (Бт)=8 бит – имеет 28=256 различных состояний, что позволяет закодировать все латинские буквы (строчные и прописные), цифры, русские буквы, математические и специальные символы. Практически можно считать, что 1 байт есть 1 символ текста.
Соответствие между символом и его цифровым кодом называется таблицей кодировки. Существует множество таблиц кодировки букв национальных алфавитов, например кириллицы. В современных информационных системах часто используют двухбайтовую таблицу Unicode, в которой каждый символ кодируется двумя байтами, что позволяет кодировать 216=65536 символов. Такая таблица разработана одна и содержит символы всех национальных алфавитов и множество специальных символов.
Например, на странице стандартного машинописного текста (60 строк по 64 символа) может содержаться до 60·64=3840 символов, то есть количество информации до 3840 байт
(3,75 кбайт).
В двоичном виде байт представляет собой совокупность восьми двоичных разрядов (0/1)
