Первая теорема Шеннона декларирует возможность создания системы эффективного кодирования дискретных сообщений, у которой среднее число двоичных символов на один символ сообщения асимптотически стремится к информационной энтропии источника сообщений (при отсутствии помех).
Вторая теорема Шеннона относится к условиям надежной передачи информации по ненадежным каналам.
Пусть требуется передать последовательность символов, появляющихся с определёнными вероятностями, причём имеется некоторая вероятность того, что передаваемый символ в процессе передачи будет искажён. Теорема Шеннона. утверждает, что можно указать такое, зависящее только от рассматриваемых вероятностей положительное число v, что при сколь угодно малом e>0 существуют способы передачи со скоростью v'(v' < v), сколь угодно близкой к v, дающие возможность восстанавливать исходную последовательность с вероятностью ошибки, меньшей e. В то же время при скорости передачи v', большей v, это уже невозможно. Упомянутые способы передачи используют надлежащие "помехоустойчивые" коды. Критическая скорость v определяется из соотношения Hv = C, где Н — энтропия источника на символ, С — ёмкость (пропускная способность) канала в двоичных единицах в секунду.
Одной из форм представления этой теоремы может служить соотношение Хартли-Шеннона
= 2 log2 ,
где C — пропускная способность (бит/с), — полоса пропускания линии (Гц), 1 + — отношение сигнал/помеха.
Список литературы
1. http://www.programmersclub.ru/simply-art-termini20v-21