Перейдем к рассмотрению особенностей оптимального приема при передаче непрерывных сообщений. В этом случае передаваемое сообщение х(t) может иметь очень большое (практически бесконечное) число возможных реализаций, каждая из которых представляет собой непрерывную функцию времени. Поэтому в геометрической интерпретации сообщениям и сигналам соответствуют не отдельные точки (или векторы с фиксированной длиной) в многомерных пространствах(как это было при передаче дискретных сообщений), а континуум линий сообщений и сигналов, описываемых концами векторов х и s. Исследования показывают, что в этой ситуации оптимальный прием связан с формированием на приемной стороне такого сигнала s(t), который бы обеспечивал максимум максиморум апостериорной плотности вероятности, определяемой выражением.
Применительно к каналу с гауссовским белым шумом и равновероятными сообщениями указанное условие сводится к минимизации величины
(1)
Чтобы сформировать сигнал s(t), на приемной стороне нужно использовать принятое сообщение х(t), которое представляет собой результат обработки входной реализации у(t) приемником. Сообщение х(t) называют оценкой переданного сообщения х(t). Формирование сигнала s(t) представляет собой модуляцию несущей сигнала колебанием х(t) по тому же закону и с теми же параметрами, что и на передающей стороне.
Сформированный в приемнике сигнал s(t) используется при обработке входной реализации у(t) и последующем формировании оценки сообщения х(t), которая, в свою очередь, необходима для создания сигнала s(t). Нетрудно понять, что указанная процедура может быть выполнена только в устройстве следящего типа, с использованием обратной связи по формируемой оценке сообщения х(t).
В геометрической интерпретации минимизация выражения означает, что оптимальный приемник всегда относит входную текущую реализацию у к ближайшей линии сигналов и в соответствии с этим формирует на выходе оценку сообщения х(t). Из-за влияния шума оценка х(t) отличается от переданного сообщения х(t). Это отличие обычно характеризуют величиной среднеквадратической ошибки (см. л. 1.3). Оптимальный прием обеспечивает минимальное значение этой ошибки по сравнению с любым другим способом приема.
Теория оптимального приема непрерывных сообщений, часто называемая также теорией оптимальной демодуляции аналоговых видов модуляции, или теорией нелинейной фильтрации, представляет важный раздел общей теории связи, основы которой были заложены в работах А.Н. Колмогорова, В.А. Котельникова, Н. Винера, К. Шеннона и ряда других отечественных и зарубежных ученых.
Задачей приемного устройства являются извлечение переданного сообщения х(t) из входного колебания у(t). Однако из-за помех и искажений эта процедура не может быть выполнена точно, и восстановить сообщение на выходе приемника можно только приближенно. Такое приближенное сообщение называют оценкой и обозначают х(t).
Критерием близости х(t) и х(t) в теории и технике связи принята СКО, в соответствии с которой
(2)
где скобки <.> означают операцию усреднения реализации по времени.
Оптимальный приемник непрерывных сообщений обеспечивает наименьшую возможную в заданных условиях величину СКО. Определим эту ошибку.
Основываясь на теории ортогональных разложений передачу любого непрерывного сообщения можно заменить передачей совокупности числовых коэффициентов (параметров). Пусть непрерывное сообщение х(t) представлено рядом
(3)
При известной системе базисных функций передача сообщений x(t) эквивалентна передаче п значений коэффициентов 
Следовательно, передаваемый сигнал можно рассматривать как функцию времени и коэффициентов 
, т. е.
(4)
Влияние помех приведет к тому, что каждый коэффициент , будет принят с некоторой погрешностью. В результате оценка сообщения примет вид
(5)
где колебание 
нужно рассматривать как помеху на выходе приемника.
Если единственной причиной появления этой помехи является белый гауссовский шум на входе приемника, то нетрудно убедиться в том, что помеха 
имеет нормальное распределение. В.А.Котельников показал, что в режиме надпорогового оптимального приема спектральная плотность такой помехи определяется выражением
(6)
Средний квадрат ошибки при оптимальном приеме непрерывных сообщений с учетом (2) можно найти по формуле
(7)
Для выбранного (или заданного) вида модулированных сигналов помехоустойчивость оптимального приема будет наиболее высокой по сравнению с любым возможным реальным способом приема этих же сигналов. Поэтому такую помехоустойчивость часто называют потенциальной (предельно возможной для данного вида сигналов).
При анализе потенциальной помехоустойчивости полезно различать прямые виды модуляции, у которых передаваемое сообщение x(t) непосредственно входит в выражение для сигнала 
и интегральные, у которых сигнал — функция интеграла от передаваемого сообщения, т.е. 
.
Рассмотрим особенности расчета потенциальной помехоустойчивости для некоторых случаев.
Помехоустойчивость сигналов с амплитудной модуляцией. Пусть для передачи непрерывных сообщений используется АМ сигнал. В этом случае
(8)
(9)
(10)
В (8) учтено, что соs2а = 0,5(1+соs2а) и интеграл распадается на две составляющих, одна из которых (с частотой 2w0) близка к нулю и отброшена.
Из (9) следует, что при АМ сигнале спектральная плотность помехи на выходе оптимального приемника постоянна. Эта особенность характерна не только для АМ, но и всех других сигналов с прямыми видами модуляции.
Приняв во внимание, что средние мощности сигнала и шума на входе приемника
где 
- ширина спектра АМ сигнала, определяющая полосу пропускания приемника, имеем
(11)
В соответствии с (11) потенциальная помехоустойчивость АМ сигналов в основном определяется отношением сигнала к шуму на входе приемника. Для получения малых значений ошибки это отношение должно быть весьма большим.
Помехоустойчивость сигналов с угловой модуляцией. Пусть для передачи непрерывных сообщений используются сигналы с угловой модуляцией. Сначала рассмотрим случай фазовой модуляции.
Из(13) следует, что при ФМ сигнале, как и при АМ, спектральная плотность помехи на выходе постоянна, поскольку ФМ принадлежит к сигналам с прямой модуляцией.
При ЧМ сигнале спектральная плотность помехи на выходе имеет квадратичную зависимость от частоты. Такая зависимость характерна для всех интегральных видов модуляции. В этом случае
(12)
(13)
Из (13) следует, что при ФМ сигнале, как и при АМ, спектральная плотность помехи на выходе постоянна, поскольку ФМ принадлежит к сигналам с прямой модуляцией.
(14)
где 
и 
-- средние мощности шума и сигнала на входе приемника; 
-- полоса частот, занимаемая спектром ФМ сигнала.
Проведем теперь рассмотрение для ЧМ сигнала. Он относится к интегральному виду модуляции.
(15)
где 
- текущая частота, принимающая значения в интервале 
Спектральная плотность помехи на выходе оптимального приемника ЧМ сигналов равна
(16)
Эта формула показывает, что при ЧМ сигнале спектральная плотность помехи на выходе имеет квадратичную зависимость от частоты. Такая зависимость характерна для всех интегральных видов модуляции.
Средний квадрат ошибки при приеме ЧМ сигналов можно записать так:
(17)
где 
- индекс частотной модуляции.
Проанализируем полученные результаты. Из (14) и (17) следует, что при ФМ и ЧМ помехоустойчивость приема можно повысить только за счет увеличения индекса модуляции 
(не увеличивая при этом среднюю мощность сигнала Рс). Однако увеличение приводит к расширению спектра ФМ и ЧМ сигналов и соответственно к необходимости использовать более широкую полосу частот. Это уменьшает отношение сигнала к шуму на входе приемника 
При некотором значении индекса 
величина qс снизится до пороговой величины, 
, при которой условия надпорогового приема нарушаются и начинает резко возрастать вероятность аномальных ошибок 
. В этом случае формулами (14) и (17) пользоваться уже нельзя.