Подходы к измерению количества информации:
-
Объемный (т.е. количество информации зависит от ее содержания).
-
Алфавитный (т.е. количество информации зависит от последовательности знаков).
-
Вероятностный (I=log2N)
I – кол-во информации,
N – кол-во исходов.
энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита.
Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других.
