Kitabı oxu: «Как измеряется информация? Сборник задач по информатике»

© Николай Петрович Морозов, 2025

ISBN 978-5-0068-8071-9

Создано в интеллектуальной издательской системе Ridero

Измерение информации – важная задача теории информации, поскольку позволяет количественно оценить объем передаваемых сообщений, количество информации, содержащейся в сообщении, и степень неопределенности ситуации.

Рассмотрим основные подходы измерения информации с подробными пояснениями и примерами.

1. Условная мера количества информации (бит)

Информация измеряется в битах (от англ. bit – binary digit). Один бит – это количество информации, необходимое для выбора одного из двух равновероятных исходов.

Формула Хартли:

Где, N – количество равновероятных возможных событий; I – количество информации в сообщении о том, что произошло одно из N событий.

Предположим, вы подбрасываете монету. Есть два равновероятных события: выпадение орла или решки (N=2). Измерим количество информации:

Это значит, что результат броска монеты несет ровно один бит информации.

Пример 1:

2. Информация по Шеннону (энтропия)

Шеннон предложил учитывать вероятность каждого события, чтобы точнее измерять информацию. В отличие от формулы Хартли, здесь учитывается случай, когда события не равновероятны

Энтропия показывает среднее количество информации, которое мы получаем при наблюдении события.

Пример 2:

Рассмотрим игральный кубик. Событие выпадения каждой грани имеет одинаковую вероятность 1/6. Тогда энтропия равна:

Таким образом, бросок кубика несет примерно 2.58 бита информации.

Пример.3.

Рассмотрим другой пример, где вероятности граней неодинаковы:

Здесь энтропия уменьшилась, потому что одно событие стало значительно вероятнее остальных.

3. Количество информации при передаче сообщения

При передаче сообщения важно понимать, сколько информации передается через канал связи. Для этого используют понятие информационной пропускной способности канала.

Пример 4: