Значение ШЕННОНА ТЕОРЕМА в Большой советской энциклопедии, БСЭ

теорема, одна из основных теорем теории информации о передаче сигналов по каналам связи при наличии помех, приводящих к искажениям. Пусть надлежит передать последовательность символов, появляющихся с определёнными вероятностями, причём имеется некоторая вероятность того, что передаваемый символ в процессе передачи будет искажён. Простейший способ, позволяющий надёжно восстановить исходную последовательность по получаемой, состоит в том, чтобы каждый передаваемый символ повторять большое число ( N ) раз. Однако это приведёт к уменьшению скорости передачи в N раз, т. е. сделает её близкой к нулю. Ш. т. утверждает, что можно указать такое, зависящее только от рассматриваемых вероятностей положительное число v ,что при сколько угодно малом e > 0 существуют способы передачи со скоростью v' ( v' < v ), сколь угодно близкой к v ,дающие возможность восстанавливать исходную последовательность с вероятностью ошибки, меньшей e. В то же время при скорости передачи v' , большей v ,это уже невозможно. Упомянутые способы передачи используют надлежащие 'помехоустойчивые' коды. Критическая скорость v определяется из соотношения Hv C , где Н - энтропия источника на символ, С - ёмкость канала в двоичных единицах в секунду.