Предположим, что надо составить слово как комбинацию букв алфавита содержащего P ,букв (символов), при этом X – число символов в слове. Всего существует N разрешенных слов.
N= PX
Если положить, что количество информации в слове пропорционально его длине то получим:
log(N)=Xlog(P)
Определим эту величину как количество информации I. Таким образом
I= Xlog(P)
Определим минимальное I, которое можно принять за единицу информации. Минимальное P =2, так как при P =1 получим I=0. В качестве символов алфавита выберем 0 и 1. Простейшее слово будет состоять из одной буквы. Количество информации в самом простом слове для самого простого алфавита будет:
I= log(2).
Выбрав число 2 за основание логарифма, имеем:
I= 1.
Эта единица информации в двоичном алфавите носит название бит и может иметь значение 0 или 1.
Таким образом, количество информации в любом слове двоичного алфавита равно числу бит в нем:
I=X log2(2)=X
число возможных сообщений (слов) N определяется как
N=2X .
Например, число возможных слов несущих три бита информации 23= 8.
Поскольку двоичная система счисления (двоичный алфавит) является наиболее простой, именно она используется для представления информации в компьютере. То есть информация в компьютере представляется в виде двоичных слов.
