ТПС пз 1 часть - Энтропия

1. Что изучает теория информации?
2. Что изучает теория сообщений?
3. Что изучает теория сигналов?
4. Априорная энтропия (H_apr) характеризует...
5. Язык речи характеризуется...
6. Сообщение - это...
7. Априорная энтропия (H_apr) полностью характеризуется...
8. Апостериорная энтропия (H_aps) характеризует...
9. Если сообщение однозначно определяет состояние системы, то апостериорная энтропия (H_aps)....
10. Если сообщение неоднозначно определяет состояние системы, то апостериорная энтропия (H_aps)...
11. Количество информации I по Шеннону, содержащейся в сообщении, определяется как...
12. Только то сообщение переносит информацию, которое...
13. Энтропия, это...
14. Энтропия полностью определяется...
15. Источник сообщений является дискретным, если множество сообщений, которое может быть им создано...
16. Основные характеристики дискретного источника:
17. Размерность энтропии:
18. Как соотносятся бит и нит?
19. Условие максимальной энтропии?
20. По какой формуле рассчитывается максимальная энтропия источника?
21. H=log₂k, где k - алфавит источника

что рассчитывается по данной формуле?

1. Чему равна максимальная энтропия 2-значного источника?
2. Чему равна максимальная энтропия 4-значного источника?
3. Чему равна максимальная энтропия 8-значного источника?
4. Чему равна максимальная энтропия 16-значного источника?
5. где - вероятность появления знаков на выходе источника.

Что рассчитывается по данной формуле?

1. Если знаки источника встречаются на выходе неравновероятно и независимо друг от друга, то энтропия рассчитывается по формуле:
2. При наличии вероятностной взаимосвязи между буквами, количество содержащейся в сообщении информации....
3. 

что рассчитывается по данной формуле?

1. H1 - энтропия К -значного источника (знаки равновероятны и независимы),

Н2 - энтропия марковского К -значного источника,

Н3 - энтропия К -значного источника (знаки независимы и неравновероятны),

Какое соотношение верно?

1. Энтропия является...
2. В каких пределах может изменятся энтропия?
3. Для двухзначного источника (при независимости появления знаков) график изменения энтропии:
4. Какая величина рассчитывается по формуле:

1. По какой формуле рассчитывается избыточность?
2. Какая величина рассчитывается по формуле:

1. Какая величина рассчитывается по формуле:

1. В каких пределах изменяется избыточность?
2. В каких пределах изменяется коэффициент сжатия?
3. Сумма всех вероятностей появления знаков k-значного источника равна:
4. Энтропия двузначного источника равна 1, чему равен коэффициент сжатия?
5. Энтропия 4-значного источника равна 1, чему равен коэффициент сжатия?
6. Энтропия двузначного источника равна 1, чему равна избыточность?
7. Энтропия 4-значного источника равна 1, чему равна избыточность?
8. Энтропия двузначного источника равна 1, чему равна вероятность появления первого знака?
9. Энтропия четырехзначного источника равна 2, чему равна вероятность появления первого знака?
10. При каких условиях энтропия двухзначного источника равна 1?
11. Сравните энтропии (H) источников информации (A):