18. Теория информации К. Шеннона. Понятие шума.

· Клод Элвуд Шеннон (1916 — 2001) — американский инженер и математик.
Человек, которого называют отцом современных теорий информации и
связи.
· В своих работах 1948-49 годов он определил количество информации через
энтропию — величину, известную в термодинамике и статистической
физике как мера разупорядоченности системы, а за единицу информации
принял то, что впоследствии окрестили "битом", то есть выбор одного из
двух равновероятных вариантов. На прочном фундаменте своего
определения количества информации Клод Шеннон доказал удивительную
теорему о пропускной способности зашумленных каналов связи. Во всей
полноте эта теорема была опубликована в его работах 1957-61 годов и
теперь носит его имя.
· Всякий зашумленный канал связи характеризуется своей предельной
скоростью передачи информации, называемой пределом Шеннона. При
скоростях передачи выше этого предела неизбежны ошибки в передаваемой
информации. Зато снизу к этому пределу можно подойти сколь угодно
близко, обеспечивая соответствующим кодированием информации сколь
угодно малую вероятность ошибки при любой зашумленности канала.
· Предложенный Шенноном метод измерения количества информации
оказался настолько универсальным, что его применение не ограничивается
теперь узкими рамками чисто технических приложений. Теоремы Шеннона
для канала с шумами (теоремы Шеннона для передачи по каналу с
шумами) связывают пропускную способность канала передачи информациии существование кода, который возможно использовать для передачи
информации по каналу с ошибкой, стремящейся к нулю (при увеличении
длины блока).
· Шум — беспорядочные колебания различной физической природы,
отличающиеся сложностью временной испектральной структуры.
Первоначально слово шум относилось исключительно к звуковым
колебаниям, однако в современной науке оно было распространено и на
другие виды колебаний (радио-, электричество).