Основы теории информации

Теория информации — ветвь математической теории вероятностей и математической статистики.

Информация — сведения, которые позволяют их потребителю принять некоторые решения и совершить какие-то действия.

Информационный шум(помехи) — сведения, бесполезные для потребителя с точки зрения стоящей перед ним задачи, либо мешающие ему принять решение.

Сообщение — конкретные сведения, получаемые от объекта(источника информации), характеризующие его свойства, состояние или способ кодирования.

Сообщение передается от источника к приемнику посредством сигнала.

Сигнал — сообщение, представленное в определенной форме, пригодной для восприятия и обработки приемником.

Данные — совокупность зарегистрированных сигналов.

Свойства информации

Объективность (адекватность). Соответствие содержания передаваемого сообщения действительности.
Полнота. Качество информации, определяющее достаточность данных в сообщении для принятия решения или выполнения некоторых действий.
Достоверность. Соответствие содержания принятого сообщения содержанию переданного; подлинность источника сообщения.
Доступность. Возможность получить ту или иную информацию в требуемый момент времени с необходимой полнотой.
Актуальность. Степень соответствия информации текущему моменту времени.

Методы передачи информации

ИНформация приходит потребителю отдельными порциями, каждая из которых представляет некоторе сообщение.
В свою очередь сообщение представляется в виде сигнала определенной формы. По своей структуре сигналы могут быть дискретными и непрерывными.
Дискретный сигнал может принимать лишь конечное число значений.
При обмене сообщениями обычно используют некоторые соглашения относительно их форм:

Языковая. Сообщение составлено на некотором языке.Состоит из последовательности знаков, при этом под знаками понимаются и буквы, и цифры.

Знак — элемент конечного множества, которое называется алфавитом.

Символ — знак вместе с его смыслом.

Слово — конечная последовательность знаков.

Код (или кодировка) — правило, описывающее отображение одного набора знаков в другой.

Формула Хартли: $\\I=log_aN$ . $N=a^m$ .

m — количество знаков в сообщении.
a — основание СС.
Возможность появления любого символа алфавита равновероятна.

Минимально возможное количество информации будет содержать такое сообщение, которое состоит из единственного символа (m=1), который в своюю очередь входит в двухсимвольный алфавит (a=2:0,1). $\\I=log_22^1=1$ .

Количество информации, представляющее собой выбор из двух равно вероятных символов, получило название бит (binary digit).

Представление данных в ЦВМ

Причины, по которым компьютеры используют двоичную СС:

Технические устройства с двумя устойчивыми состояниями наиболее надежны.
Двоичная арифметика намного проще десятичной (при реализации на ЦВМ).
Для выполнения логических преобразований можно использовать аппарат булевой алгебры (алгебры логики).

Слово бит обозначает единицу количества информации. Под битом так же понимают объект, который принимает два значения (0,1). В англоязычной литературе эти понятия отличаются.