x in X

p(x|y) \log_2 p(x|y)" class="mwe-math-fallback-image-inline tex" src="https://upload.wikimedia.org/math/5/7/c/57c4fb7762abbd4a988987435c2e30a3.png" style="border:none; display:inline-block; vertical-align:middle" />

— условная энтропия, в теории передачи информации она характеризует шум в канале.

Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.

Рассмотренный выше подход к информации как мере уменьшения неопределенности знания позволяет количественно измерять информацию. Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:

N = 2i