Задание 3.1
Определить энтропию,количество информации и избыточность сообщения состоящего из букв Фамилии Имени Отчество студента.
Решение задания 3.1
Сообщение «Чернавин Денис Леонидович».
Длина сообщения:n=8+7+9=23 буквы.
Алфавит, используемый в сообщении:
α∈{Ч,е,р,н,а,в,и,,Д,с,л,о }
Количество букв: m=11 букв.
Частота появления букв в сообщении:
«ч» - встречается 2 раза, n(ч)=2;
«е» - встречается 3 раза,n(е)=3;
«р» - встречается 1 раз,n(р)=1;
«н» - встречается 4 раза,n(н)=4;
«а» - встречается 1 раз,n(а)=1;
«в» - встречается 2 раза,n(в)=2;
«и» - встречается 4 раза,n(и)=4;
«д» - встречается 2 раза,n(д)=2;
«с» - встречается 1 раз,n(с)=1;
«л» - встречается 1 раз,n(л)=1;
«о» - встречается 2 раза,n(о)=2;
Находим вероятности появления букв:
p(р)=p(а)=p(с)=p(л)= 1/23;
p(ч)=p(в)= p(д)= p(0)=2/23;
p(е)=3/23;
p(н)= p(и)= 4/23;
Проверяем правильность расчета по формуле полной вероятности:
6p(л)+2p(в)+ p(д) +p(а)+p(е)=1;
Находим максимальную энтропию по формуле:
Теперь находим энтропию по формуле (символы неравновероятны):
Далее находим избыточность:
Считаем количество информации в сообщении:
Задание 3.2
Представить фамилию студента в виде двоичного кода UTF, исключив четыре первых нуля каждой буквы. Определить условные вероятности p(0/0),p(1/0),p(0/1),p(1/1) и условную энтропию сообщения.
Решение задния 3.2
Представим фамилию в двоичном виде(таблица 3.1)
Таблица 3.1
| Буквы Фамилии | Шестнадцатеричный код | Двоичный код (Без первых четырех нулей) |
| Ч | 0100 0010 0111 | |
| е | 0100 0011 0101 | |
| р | 0100 0100 0000 | |
| н | 043D | 0100 0011 1101 |
| а | 0100 0011 0000 | |
| в | 0100 0011 0010 | |
| и | 0100 0011 1000 | |
| н | 043D | 0100 0011 1101 |
Записываем двоичную последовательность:
0100 0010 0111 0100 0011 0101 0100 0100 0000 0100 0011 1101 0100 0011 0000
0100 0011 0010 0100 0011 1000 0100 0011 1101
Алфавит, используемый в сообщении:
α∈{0,1}
Длина сообщения n=96 символа. Число символов алфавита m=2 символа.
Количество символов «0»: n(0)=61. Количество символов «1»: n(1)=35.
определим безусловные вероятности появления символов:
Проверяем по формуле полной вероятности:
Считаем количество пар символов «00», «01», «10», «11» в сообщении. Расчет производим с учетом наложения символов друг на друга.
n(00)=33; n(10)=26, n(01)=26; n(11)=10;
Общее число пар с наложением должно быть равным 
. Производим проверку: 33+26+26+10=95.
Определяем условные вероятности:
При вычислении условных вероятностей, нужно уменьшить на 1 количество тех символов, который стоит последним n(1)-1=35-1=34, так как последний символ остается без пары.
Для найденных условных вероятностей должны соблюдаться следующие условия полной вероятности:
По формуле определяем условную энтропию появления символа из алфавита α, если перед ним был символ «0»:
Далее по аналоичной формуле определим условную энтропию появления символа из алфавита α,если перед ним был символ «1»:
Потом находим условную энтропию:
Для проверки неравенства 
находим энтропию:
Отсюда видим, что условие не соблюдается: 
. Это означает, что данная последовательность символов не соответствует статистической закономерности.
ЗАКЛЮЧЕНИЕ
В ходе курсового проекта были произведены расчёт и моделирование характеристик и параметров сигналов, сообщений и основных компонентов систем передачи информации. Результатом курсового проекта является закрепление студентами знаний основных методов расчёта и преобразования сигналов в радиотехнических системах.
Список литературы:
1. Гоноровский, И.С. Радиотехнические цепи и сигналы. – 5-е изд. – М.:Дрофа,2006. – 719с. – ISBN 5-7107-7985-7.
2. Стафеев, А.В. Разуваев, В.А. Теория связи: метод. указания к курсовой работе/ А.В.Стафеев, В.А. Разуваев. – Хабаровск: Изд-во ДВГУПС. 2018. – 34 с.: ил.
3. Баскаков, С. И. Радиотехнические цепи и сигналы. — 3-е изд. — М.: «Высшая школа», 2005. — 464 с. — ISBN 5-06-003843-2.
4. Кудряшов, Б.Д. Теория информации. - СПб.: Питер, 2009. - 320 с. - ISBN: 978-5-388-00178-8.
5. Зюко, А. Г., Фалько, А. И. Помехоустойчивость и эффективность систем передачи информации. — М.: Радио и связь, 1985. – 271 с.
6. https://www.scilab.org/
7.Ю. А. Брюханов, А. Л. Приоров Общая теория связи. Учебное пособие, Ярославль ЯрГУ, 2014
8. Гельгор А.Л. Общая теория связи. Проверка статистических гипотез. Оценивание параметров. Оптимальный приём сигналов: учеб. пособие / Гельгор А.Л., Горлов А.И., Попов Е.А. — СПб.: Изд-во Политехн. ун-та, 2013. — 227 с.
9. Павликов С. Н., Убанкин Е. И., Левашов Ю.А.. Общая теория связи. [Текст]: учеб. пособие для вузов – Владивосток: ВГУЭС,2016. – 288 с.. 2016
10. Аджемов А.С., Санников В.Г. Общая теория связи. - ISBN 978-5-9912-0690-7