Сравним два объекта: а) коробку, в которой находится 999 черных и один белый шарик; б) коробку, в которой находится 500 черных и 500 белых.
Любая информация приводит к снятию некоторой априорной (доопытной) неопределенности.В первом случае источник сообщения для получателя почти полностью определен, он и не осуществляя опыта, знал, извлечет черный шар, поэтому сообщение о его извлечении несет количество информации, близкое к 0. Вероятность таких сообщений близка к 1. Вероятность таких сообщений близка к 1, поэтому среднее количество информации, поэтому среднее количество информации на одно сообщение будет мало. Во втором случае, когда предсказание об исходе опыта невозможно, сообщение о событие несет значительно больше информации для получателя.
Суть подхода Шеннона- Изложеные соображения приводят к необходимости учитывать при определении количества информации не только количество разнообразных сообщений от источника, но и вероятность получения тех или иных сообщений.
11.
