Энтропия

- мера неопределённости какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации.

В равновероятных событиях (ф-ла Хардли): H=Log2(N)

Если есть два равновероятных события, то энтропия равна 1. Отсюда информация двоичного кода и называется битом.

В неравновероятных событиях (Формула Шеннона):

Где Pi – вероятность i-го события.

N- кол-во состояний.