Передача сообщений при наличии помех является серьезной теоретической и практической задачей. Ее значимость возрастает в связи с повсеместным внедрением компьютерных телекоммуникаций, в которых помехи неизбежны. При работе с кодированной информацией, искажаемой помехами, можно выделить следующие основные проблемы: установления самого факта того, что произошло искажение информации; выяснения того, в каком конкретно месте передаваемого текста это произошло; исправления ошибки, хотя бы с некоторой степенью достоверности.
Рассмотрим ситуацию, когда в канале действуют помехи, вызывающие искажения передаваемых символов. Возникающие при этом ошибки носят случайный характер, они действуют при любой скорости передачи сообщений через канал.
Возникает вопрос, возможен ли такой способ кодирования, при котором сообщения передаются через канал без ошибок с некоторой ненулевой скоростью Vk.0 (действие ошибок полностью устраняется при кодировании)?
На этот вопрос отвечает теория помехоустойчивого кодирования.
История возникновения и развития теории и практики избыточного (помехоустойчивого) кодирования информации, с целью коррекции ошибок и тем самым обеспечения требуемой достоверности передачи информации (ПИ) началась с 1946 г., а именно, после публикации монографии американского ученого Шеннона, а именно «Работы по теории информации и кибернетике».
В данной работе Шеннон доказал, что если скорость ПИ (В, бит/с) меньше пропускной способности какала связи (С, бит/с), то есть В < С, то можно подобрать такой избыточный (помехоустойчивый) код и способ кодирования (алгоритм декодирования не рассматривался), при котором может быть обеспечена сколь угодно малая вероятность ошибочного приема информации..
Если имеется источник информации с энтропией Н(i), и канал с заданным уровнем ошибок и с пропускной способностью С > Н(i), то обязательно найдётся код, представленные в котором сообщения от этого источника могут быть полностью переданы по этому каналу со средней скоростью, как угодно близкой к энтропии источника и со сколь угодно малой долей ошибок.
Шеннон также показал в этой работе, что построение каналов связи с очень хорошими характеристиками является дорогостоящим мероприятием, а экономически выгоднее использовать избыточное, т.е. помехоустойчивое кодирование
Теорема Шеннона для дискретного канала с помехами утверждает, что вероятность ошибок за счет действия в канале помех может быть обеспечена сколь угодно малой путем выбора соответствующего способа кодирования сигналов.
Из этой теоремы вытекает весьма важный вывод о том, что наличие помех не накладывает принципиально ограничений на верность передачи. Однако при этом следует иметь в виду:
если помехоустойчивый код согласован с характеристиками канала связи, т.е. позволяет исправлять наиболее вероятные ошибки, то введенная избыточность информации становится оправданной; иначе ошибки могут быть не только не исправлены, но даже размножены кодом.
Однако Шеннон не указал как построить помехоустойчивые коды, а лишь доказал их существование. Следует заметить, что результаты работы Шеннона базировались на работах советских ученых: Хинчина, Колмогорова, Харкевича, Варшамова и др.
Установим, что понимается под термином «пропускная способность канала связи» и «скорость ПИ». Суть понятий в следующем:
- пропускная способность канала связи (С) – определяется как максимальное число переданных двоичных единиц (двоичных символов, битов) в секунду при заданной или установленной вероятности ошибочного приема двоичного символа (бита), которая в принципе может быть сколь угодно малой;
- скорость ПИ (В) – это реально переданное число двоичных символов (битов) в установленную единицу времени (в секунду) и при заданной равной вероятности ошибочного приема двоичного символа (бита).
Пропускная способность канала связи и скорость передачи информации измеряются в бит/с, Кбит/с, Мбит/с и Гбит/с.
Помехозащищенное кодирование изучает возможности представления (перекодировки) информации в форму обеспечивающую
1) обнаружение искажений в переданной информации — как минимум;
2) исправление ошибок в переданной информации — как максимум.
Очевидно, что это может быть достигнуто только за счет передачи добавочной информации. В отличие от предыдущих типов кодирования, оставлявших битовый размер информации неизменным или уменьшавшими размер, методы помехозащищенного кодирования всегда увеличивают размер передаваемой информации. Основная задача — использовать добавочную информацию как можно эффективнее, т.е. максимизировать вероятность обнаружения/исправления ошибки на каждый дополнительный бит.
Следует понимать — не существует методов, дающих абсолютную гарантию обнаружения ошибки. Известно не так уж много эффективных методов помехозащищенного кодирования.
Для надёжной передачи кодов было предложено два основных метода.
Первый — добавить в передаваемый блок данных нескольких «лишних» бит так, чтобы, анализируя полученный блок, можно было бы сказать, есть в переданном блоке ошибки или нет. Это так называемые коды с обнаружением ошибок.
Второй — внести избыточность настолько, чтобы, анализируя полученные данные, можно не только замечать ошибки, но и указать, где именно возникли искажения. Это коды, исправляющие ошибки.
Такое деление условно. Более общий вариант — это коды, обнаруживающие k ошибок и исправляющие l ошибок, где 
.
После выхода из печати работы Шеннона десятки ученых и сотни инженеров во всем мире занялись поиском помехоустойчивых кодов и способов кодирования и уже на конец 1948 г. можно отметить, что теория и практика помехоустойчивого кодирования развивалась по двум направлениям.
Первое направление носило чисто алгебраический характер и в основном рассматривались способы построения блоковых (блочных) кодов и алгоритмы их декодирования.
Первые два блоковых кода (n1,k1,do1) = (7,4,3) и (n2,k2,do2) = (7,3,4) были открыты (построены) Хэммингом в 1947 г., а также им была разработана теория построения линейных блоковых кодов. Хэмминг ввел и дал определение основным параметрам (характеристикам) блоковых кодов, а также разработал кодирующее (кодер) и декодирующее (декодер) устройства для своих кодов. Для оценки корректирующей способности кодов Хэмминг ввел параметры кодовое (d) и минимальное кодовое (do) расстояния и показал их зависимость от длины кода и от вводимой избыточности. В честь больших заслуг Хэмминга перед теорией и практикой помехоустойчивого кодирования параметры d и do носят название соответственно хэмминговое и минимальное хэмминговое расстояние.
В 1949 г. Абрамсон предложил ещё два блоковых кода, а именно (n,k,do) =(15,10,5) и (n,k,do) = (10,5,5); при построении данных кодов в основном использовалась теория, предложенная Хэммингом. Данные коды, как и коды Хэмминга, оказались очень слабыми по корректирующей способности по сравнению с обещанными Шенноном кодами.
Несмотря на усиленные исследования до конца 50-х годов (до 1959 г.) не было найдено и построено лучшего класса кодов, чем коды Хэмминга и Абрамсона. В эти же годы, а точнее с 1949 по 1959 гг., без какой-либо общей теории были открыты многие блоковые коды и неблоковые коды, в том же числе, так называемые непрерывные или цепные коды; данные коды были предложены в 1954 г. одновременно Элайсом и Финком.
Основной сдвиг в теории помехоустойчивого кодирования произошел в конце 50-х годов и в начале 60-х годов, а именно, когда в 1959 г. Хоквингейм, а в I960 г. Боузе и Чоудхури предложили теорию построения линейных блоковых кодов, корректирующие как независимые ошибки, так и пакетные ошибки. Эти коды получили название БЧХ-кодов.
В 1960-61 гг. Рид и Соломон независимо друг от друга разработали теорию построения линейных блоковых кодов, корректирующие пакетные ошибки и группирующиеся пакеты ошибок, при этом кодирование информации может быть выполнено как в двоичном поле Галуа GF(2), так и в недвоичном поле Галуа GF(2m), m³2. Эти коды получили название кодов Рида-Соломона или РС-кодов.
Несмотря на то, что коды БЧХ и PC-коды оставались очень важными среди всех кодов, общая теория построения блочных групповых кодов продолжала успешно развиваться и время от времени удавалось открывать новые коды.
Так в 1964 г. Прейндж предложил теорию построения циклических кодов (ЦК) существенно упростивших как алгоритм кодирования, так и алгоритм декодирования групповых кодов. В 1966 г. Файр предложил теорию построения ЦК, корректирующих одиночные пакеты ошибок произвольной кратности (длины), измеряемой в двоичных символах. В 1967 г. Форни, Блох и Зяблов разработали теорию построения каскадных кодов, корректирующие одновременно как независимые ошибки, так и пакетные ошибки.
Второе направление исследований по помехоустойчивому кодированию носило вероятностный характер. Первоначально исследования были связаны с оценками вероятностей ошибки для лучших классов блоковых кодов; хотя эти лучшие коды ещё не были открыты. Эти исследования проводились с целью понять помехоустойчивое кодирование и декодирование с вероятностной точки зрения.
Данные исследования привели к открытию алгоритмов последовательного декодирования применительно к классу древовидных кодов, которые относятся к классу сверточных кодов (СК), которые в свою очередь, являются дальнейшим развитием непрерывных кодов.
В 1967 г. Витерби разработал для СК эффективный вероятностный алгоритм декодирования, названный позднее алгоритмом Витерби (АВ).
С 1970 г. эти два направления исследований вновь стали пересекаться, в том плане, что теорией построения СК занялись математики-алгебраисты, представившие теорию построения СК в новом математическом изложении.
В теории блоковых кодов были получены коды, на которые указывал Шеннон; были предложены два способа построения помехоустойчивых кодов (первый способ - Юстессена, а второй – способ Гоппы), позволяющих строить классы кодов, которые одновременно могут иметь очень большую длину блока кодовой последовательности и очень хорошие параметры кода (R,r,d0). Но оба этих способа построения кодов имеют ограниченное практическое применение в виду их высокой сложности реализации.