1.Информация и данные. Количество информации. Энтропия. Формула Хартли и формула Шеннона

Формула Хартли определяет количество информации, содержащееся в сообщении длины n.

Имеется алфавит А, из букв которого составляется сообщение:

$|A| = m$

Количество возможных вариантов разных сообщений:

$N = m^n$

где N — возможное количество различных сообщений, шт; m — количество букв в алфавите, шт; n — количество букв в сообщении, шт.

Пример: Алфавит состоит из двух букв «B» и «X», длина сообщения 3 буквы — таким образом, m=2, n=3. При выбранных нами алфавите и длине сообщения можно составить $N=m^n=2^3=8$ разных сообщений «BBB», «BBX», «BXB», «BXX», «XBB», «XBX», «XXB», «XXX» — других вариантов нет.

Формула Хартли определяется:

$I = \log_2 N = n \log_2 m,$

где I — количество информации, бит.

При равновероятности символов $p=\frac1m, m=\frac1p$ формула Хартли переходит в собственную информацию.

Формула Хартли была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений.

Формула Шеннона

Когда события не равновероятны, может использоваться формула Шеннона.