Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений. За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа битом.Минимальной единицей измерения количества информации является бит, а следующей по величине единицей - байт, причем:
1 байт = 8 битов = 2 в 3степени битов.
Также есть Кбайт, Мбайт, Гбайт, Тбайт, Пбайт(петабайт).
1 бит - кол-во инф, кот мы получаем, когда выбираем ответ из 2х вариантов. 2вар-1бит, 4вар-2бита и тд (метод половинного деления - применяется при решении многих задач)
В 1928 г. американский инженер Р. Хартли предложил научный подход к оценке сообщений. Предложенная им формула имела следующий вид:
I = log2 K ,
Где К - количество равновероятных событий; I - количество бит в сообщении, такое, что любое из К событий произошло. Тогда K=2I.
Иногда формулу Хартли записывают так:
I = log2 K = log2 (1 / р) = - log2 р,
т. к. каждое из К событий имеет равновероятный исход р = 1 / К, то К = 1 / р.
В 1948 г. американский инженер и математик К Шеннон предложил формулу для вычисления количества информации для событий с различными вероятностями.
Если I - количество информации,
К - количество возможных событий,
рi - вероятности отдельных событий,
то количество информации для событий с различными вероятностями можно определить по формуле:
I = - Sum рi log2 рi,
где i принимает значения от 1 до К.
Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона:
I = - Sum 1 / К log2 (1 / К) = I = log2 К.
При равновероятных событиях получаемое количество информации максимально.
