Информационная энтропия характеризует степень неопределенности передаваемой информации.
Информационная энтропия источника информации с N независимыми сообщениями есть среднее арифметическое количеств информации сообщений
H = — Pk log2 Pk
где Pk — вероятность появления k-го сообщения. Другими словами, энтропия есть мера неопределенности ожидаемой информации.
П р и м е р. Пусть имеем два источника информации, один передает двоичный код с равновероятным появлением в нем 1 и 0, другой имеет вероятность 1, равную 2-10, и вероятность 0, равную 1-2-10. Очевидно, что неопределенность в получении в очередном такте символа 1 или 0 от первого источника выше, чем от второго. Это подтверждается количественно оценкой энтропии: у первого источника H = 1, у второго приблизительно H = -2-10 log22-10 , т.е. значительно меньше.