2.1.1. Количество информации как мера уменьшения неопределенности знаний

 

            Количество информации как мера уменьшения неопределенности знаний. Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.

            Сообщения обычно содержат информацию о каких-либо событиях.  Количество информации для событий с различными вероятностями определяется по формуле:  

2.1

где I – количество информации,

 N – количество возможных событий,

 p_i- вероятности отдельных событий.

 

            Если события равновероятны, то количество информации определяется по формуле:

 

2.2

I = log2N

 или из показательного уравнения:

 

2.3

N = 2I.

 

Пример 2.1. После экзамена по информатике, который сдавали ваши друзья, объявляются оценки («2», «3», «4» или «5»). Какое количество информации будет нести сообщение об оценке  учащегося A, который выучил лишь половину билетов, и сообщение об оценке учащегося B, который выучил все билеты.

Опыт показывает, что для учащегося A все четыре оценки (события) равновероятны и тогда количество информации, которое несет сообщение об оценке можно вычислить по формуле 2.2:

I = log₂4 = 2 бит

На основании опыта можно также предположить, что для учащегося B наиболее вероятной оценкой является «5» (p₁ = 1/2),  вероятность оценки «4» в два раза меньше (p₂ = 1/4),  а вероятности оценок «2» и «3» еще в два раза меньше  (p₃ = p₄  = 1/8). Так как события неравновероятны, воспользуемся для подсчета количества информации в сообщении формулой 2.1:

I = -(1/2Elog₂1/2 + 1/4Elog₂1/4 + 1/8Elog₂1/8 + 1/8Elog₂1/8) бит = 1,75 бит

Вычисления показали, что при равновероятных событиях мы получаем большее количество информации, чем при неравновероятных событиях.

            

Компьютерные калькуляторы. Для вычисления количества информации, перевода чисел из одной системы счисления в другую и проведения вычислений в различных системах счисления можно использовать программы, которые называются обычно научными или инженерными  калькуляторами. В состав операционной системы Windows входит стандартное приложение Калькулятор, существуют также самостоятельные приложения такого назначения. Одним из наиболее удачных и многофункциональных научных калькуляторов является Wise Calculator (Умный калькулятор), который позволяет не только производить вычисления в десятичной, двоичной, восьмеричной и шестнадцатиричной системах счисления, но определять значения логических выражений, осуществлять перевод из одних единиц измерения в другие, строить графики функций и т.д.

Рис. 2.1. Wise Calculator

 

                Пример 2.2. В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика.

                Так как количество шариков различных цветов неодинаково, то зрительные сообщения о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета деленному на общее количество шариков:

p_б = 0,1;              p_к = 0,2;           p_з = 0,3;            p_с = 0,4

                События неравновероятны, поэтому для определения количества информации, содержащимся в сообщении о цвете шарика, воспользуемся формулой 2.1:

I = -(0,1·log₂ 0,1+ 0,2·log₂ 0,2 + 0,3·log₂ 0,3 + 0,4·log₂ 0,4) бит

                Для вычисления этого выражения, содержащего логарифмы, воспользуемся компьютерным калькулятором.  

 

	Вычисление количества информации с использованием калькулятора.
1	Запустить программу Wise Calculator.
2	Ввести выражение и получить результат:
3	Таким образом, I » 1,85 бит.

 

            Пример 2.3. Какое количество вопросов достаточно задать вашему собеседнику, чтобы наверняка определить месяц, в котором он родился?

            Будем рассматривать 12 месяцев как 12 возможных событий. Если спрашивать о конкретном месяце рождения, то, возможно, придется задать 11 вопросов (если на 11 первых вопросов был получен отрицательный ответ, то 12-й задавать не обязательно, так как он и будет правильным).

                    Правильно задавать «двоичные» вопросы, т.е. вопросы, на которые можно ответить только «Да» или «Нет». Например, «Вы родились во второй половине года?». Каждый такой вопрос разбивает множество вариантов на два подмножества: одно соответствует ответу «Да», а другое — ответу «Нет».

            Правильная стратегия состоит в том, что вопросы нужно задавать так, чтобы количество возможных вариантов каждый раз уменьшалось вдвое. Тогда количество возможных событий в каждом из полученных подмножеств будет одинаково и их отгадывание равновероятно. В этом случае на каждом шаге ответ («Да» или «Нет») будет нести максимальное количество информации (1 бит).

             По формуле 2.2 и с помощью калькулятора получаем:  

I = log₂12 » 3,6 бит

            Количество полученных бит информации соответствует количеству заданных вопросов, однако количество вопросов не может быть нецелым числом. Округляем до большего целого числа и получаем ответ: при правильной стратегии необходимо задать не более 4 вопросов.

           

2.1.2. Единицы измерения количества информации

Единицы измерения количества информации. За единицу количества информации принят 1 бит —  количество информации, содержащееся в сообщении, уменьшающем неопределенность знаний в два раза.

Принята следующая система единиц измерения количества информации:

1 байт = 8 бит

1 Кбайт = 2¹⁰ байт

1 Мбайт = 2¹⁰ Кбайт = 2²⁰ байт

1 Гбайт = 2¹⁰ Мбайт = 2²⁰ Кбайт = 2³⁰ байт

 

Пример 2.4. Произведем перевод количества информации из одной единицы в другую с помощью специализированной программы Преобразование единиц измерения.

 

	Единицы измерения количества информации.
1	Запустить программу Versaverter (Преобразование единиц измерения).
2	На открывшейся диалоговой панели выбрать вкладку Data.
3	В левом окне диалоговой панели выбрать исходную единицу измерения (например, megabyte) и в текстовом окне ввести числовое значение (например, 1). После выбора в правом окне конечной единицы измерения (например, byte), в тестовом окне появится числовое значение (в данном случае, 1 048 576).

 

 

2.1.3. Определение количества информации, представленной с помощью знаковых систем

            Если рассматривать символы алфавита как множество возможных сообщений (событий) N, то количество информации, которое несет один знак можно определить из формулы 2.1. Если считать появление каждого знака алфавита в тексте событиями равновероятными, то для определения количества информации можно воспользоваться формулой 2.2 или уравнением 2.3.

            Количество информации, которое несет один знак алфавита тем больше, чем больше знаков входят в этот алфавит, т.е. чем больше мощность алфавита.

            Количество информации, содержащейся в сообщении, закодированном с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на число знаков в сообщении.

 

            Пример 2.5. Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1,25 Кбайта.

            С помощью программы VersaVerter или арифметически перевести информационный объем сообщения в биты:

.I = 10 240 бит

            Определить количество бит, приходящееся на один символ:

10 240 бит : 2 048 = 5 бит

            По формуле 2.3 определить количество символов в алфавите:

N = 2^I = 2⁵ = 32

Задания для самостоятельного выполнения (Ответы)

2.1.   Какое количество информации несет в себе сообщение о том, что нужная вам программа находится на одной из восьми дискет?  

 

2   2.2.   Какое количество информации получит второй игрок при игре в крестики-нолики на поле 8х8, после первого хода первого игрока, играющего крестиками?

2.3.   В рулетке общее количество лунок равно 128. Какое количество информации мы получаем в зрительном сообщения об остановке шарика в одной из лунок?

2.4.   Происходит выбор одной карты из колоды в 32 карты. Какое количество информации мы получаем в зрительном сообщении о выборе определенной карты?

2.5.  Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика, если в непрозрачном мешочке хранятся:

а) 25 белых, 25 красных, 25 синих и 25 зеленых шариков;

б) 30 белых, 30 красных, 30 синих и 10 зеленых шариков.

2.6.    Какое количество вопросов достаточно задать вашему собеседнику, чтобы точно определить день и месяц его рождения?

2.7. Заполнить пропуски числами и проверить правильность вычислений с помощью программы перевода единиц измерения Advanced Converter:

    

               а) 5 Кбайт = __ байт = __ бит,

                   б) __ Кбайт = __ байт = 12288 бит;

                   в) __ Кбайт = __ байт = 2¹³ бит;

                   г) __Гбайт =1536 Мбайт = __ Кбайт;

                   д) 512 Кбайт = 2__  байт = 2__  бит.

 

2.8. Найти x из следующих соотношений: 

        а) 16^x бит = 32 Мбайт;

        б) 8^x Кбайт = 16 Гбайт.

 

2.9. Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1/512 часть одного мегабайта.

 

2.10. Пользователь компьютера, хорошо владеющий навыками ввода информации с клавиатуры, может вводить в минуту 100 знаков. Мощность алфавита, используемого в компьютере равна 256. Какое количество информации в байтах может ввести пользователь в компьютер за 1 минуту.  

 

2.11. Система оптического распознавания символов позволяет преобразовывать отсканированные изображения страниц документа в текстовый формат со скоростью 4 страницы в минуту и использует алфавит мощностью 65536 символов. Какое количество информации будет нести текстовый документ после 5 минут работы приложения, страницы которого содержат 40 строк по 50 символов. 

 

 

    Ответы