Что такое неопределенность в информатике. Количество информации как мера уменьшения неопределенности знаний

Основоположник теории информации Клод Шеннон определил информацию , как снятую неопределенность . Точнее сказать, получение информации - необходимое условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределенности – уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности дает возможность принимать обоснованные решения и действовать. В этом управляющая роль информации.

Представьте, что вы зашли в магазин и попросили продать вам жевательную резинку. Продавщица, у которой, скажем, 16 сортов жевательной резинки, находится в состоянии неопределенности. Она не может выполнить вашу просьбу без получения дополнительной информации. Если вы уточнили, скажем, - «Orbit », и из 16 первоначальных вариантов продавщица рассматривает теперь только 8, вы уменьшили ее неопределенность в два раза (забегая вперед, скажем, что уменьшение неопределенности вдвое соответствует получению 1 бита информации). Если вы, не мудрствуя лукаво, просто указали пальцем на витрине, - «вот эту!», то неопределенность была снята полностью. Опять же, забегая вперед, скажем, что этим жестом в данном примере вы сообщили продавщице 4 бита информации.

Ситуация максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным. Причем, чем больше равновероятных вариантов наблюдается, тем больше неопределенность, тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить. Для N вариантов эта ситуация описывается следующим распределением вероятностей: {1/N , 1/N , … 1/N }.

Минимальная неопределенность равна 0 , т.е. эта ситуация полной определенности , означающая что выбор сделан, и вся необходимая информация получена. Распределение вероятностей для ситуации полной определенности выглядит так: {1, 0, …0} .

Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия, точнее информационная энтропия .

Энтропия (H ) – мера неопределенности, выраженная в битах. Так же энтропию можно рассматривать как меру равномерности распределения случайной величины.

На рисунке 8. показано поведение энтропии для случая двух альтернатив, при изменении соотношения их вероятностей (p , (1-p )).

Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны ½, нулевое значение энтропии соответствует случаям (p 0 =0, p 1 =1) и (p 0 =1, p 1 =0).

Количество информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H . По определению Леона Бриллюэна информация есть отрицательная энтропия (негэнтропия) .

Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H .

При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. H t + I t = H .

По этой причине, формулы, которые будут представлены ниже для расчета энтропии H являются и формулами для расчета количества информации I , т.е. когда речь идет о полном снятии неопределенности , H в них может заменяться на I .

8 . Содержательный подход к измерению информации

В содержательном подходе количество информации, заключенное в сообщении, определяется объемом знаний, который это сообщение несет получающему его человеку.

Вспомним, что с «человеческой» точки зрения информация - это знания, которые мы получаем из внешнего мира. Количество информации, заключенное в сообщении, должно быть тем больше, чем больше оно пополняет наши знания.

Вы уже знаете, что за единицу измерения информации принимается 1 бит.

1 бит - минимальная единица измерения количества информации.

Проблема измерения информации исследована в теории информации, основатель которой - Клод Шеннон .

В теории информации для бита дается следующее определение:

Сообщение, уменьшающее неопределенность знания в два раза, несет 1 бит информации.

Что такое неопределенность знания, поясним на примерах.

Допустим, вы бросаете монету, загадывая, что выпадет: орел или решка. Есть всего два возможных результата бросания монеты. Причем ни один из этих результатов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны .

В случае с монетой перед ее подбрасыванием неопределенность знания о результате равна двум.

Игральный же кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределенность знания о результате бросания кубика равна шести.

Еще пример: спортсмены-лыжники перед забегом путем жеребьевки определяют свои порядковые номера на старте. Допустим, что имеется 100 участников соревнований, тогда неопределенность знания спортсмена о своем номере до жеребьевки равна 100 .

Следовательно, можно сказать так:

Неопределенность знания о результате некоторого события (бросание монеты или игрального кубика, вытаскивание жребия и др.) - это количество возможных результатов.

Вернемся к примеру с монетой. После того как вы бросили монету и посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Определился один из двух возможных результатов. Неопределенность знания уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.

Сообщение об одном из двух равновероятных результатов некоторого события несет 1 бит информации.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий.

Тогда количество информации i , содержащееся в сообщении о том, что произошло одно из N равновероятных событий, можно определить из формулы Хартли:

N =2 i .

Данная формула является показательным уравнением относительно неизвестного i . по основанию 2 .

Если N равно целой степени двойки (2,4,8,16 и т. д.), то такое уравнение можно решить «в уме».

Неопределенность знаний о некотором событии – это количество возможных результатов события

Вернемся к примеру с монетой. После того, как вы бросили монету и посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Произошло одно из двух возможных событий. Неопределенность знаний уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.

Сообщение о том, что произошло одно событие из двух равновероятных, несет один бит информации.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных (равновозможных) событий. Тогда количество информации i, заключенное в этом сообщении, и число событий N связаны формулой:

2 i = N.

Если N равно целой степени двойки (2, 4, 8, 16 и т.д.), то вычисления легко произвести "в уме". В противном случае количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей логарифмов либо определять значение логарифма приблизительно (ближайшее целое число, большее).

Например, если из 256 одинаковых, но разноцветных шаров наугад выбрали один, то сообщение о том, что выбрали красный шар, несет 8 бит информации (2 8 =256).

Для угадывания числа (наверняка) в диапазоне от 0 до 100, если разрешается задавать только двоичные вопросы (с ответом "да" или "нет"), нужно задать 7 вопросов, так как объем информации о загаданном числе больше 6 и меньше 7 (2 6 2 7)

Количество информации i, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2 i =N

Алфавитный подход к измерению информации

Алфавитный подход основан на том, что всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита.

Алфавит - упорядоченный набор символов, используемый для кодирования сообщений на некотором языке.

Мощность алфавита - количество символов алфавита.

Двоичный алфавит содержит 2 символа, его мощность равна двум.

Сообщения, записанные с помощью символов ASCII, используют алфавит из 256 символов. Сообщения, записанные по системе UNICODE, используют алфавит из 65 536 символов.

Чтобы определить объем информации в сообщении при алфавитном подходе, нужно последовательно решить задачи:

Определить количество информации (i) в одном символе по формуле 2 i = N, где N - мощность алфавита

Определить количество символов в сообщении (m)

Вычислить объем информации по формуле: I = i * K.

Количество информации во всем тексте (I), состоящем из K символов, равно произведению информационного веса символа на К:

I = i * К.

Эта величина является информационным объемом текста.

Например, если текстовое сообщение, закодированное по системе ASCII, содержит 100 символов, то его информационный объем составляет 800 бит.

I = 8 * 100 = 800

Для двоичного сообщения той же длины информационный объем составляет 100 бит.

Необходимо так же знать единицы измерения информации и соотношения между ними.

Единицы измерения информации

Как уже было сказано, основная единица измерения информации - бит.

8 бит составляют 1 байт .

Наряду с байтами для измерения количества информации используются более крупные единицы:
1 Кбайт (один килобайт) = 1024 байта;

1 Мбайт (один мегабайт) = 1024 Кбайт;

1 Гбайт (один гигабайт) = 1024 Мбайт.

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:

1 Терабайт (Тб) = 1024 Гбайт,

1 Петабайт (Пб) = 1024 Тбайта.

Билет № 3

1. Дискретное представление информации: двоичные числа; двоичное кодирование текста в памяти компьютера. Информационный объем текста.

2. Создание и обработка графических изображений средствами графического редактора.

Человек воспринимает информацию с помощью органов чувств. При этом он стремится зафиксировать ее и представить в форме, доступной другим. Форма представления информации может быть различной. Один и тот же объект, например дом, можно изобразить графически в виде рисунка или выполнить чертеж в трех проекциях. Его можно описать в стихах или с помощью математических формул.

Форма представления информации зависит от цели, для которой она служит. Например. Запись решения квадратного уравнения на алгоритмическом языке или языке программирования в корне отличается от той формы записи, которая используется на уроках алгебры.

Рассмотрим представления чисел.

Числа записываются с использованием особых знаковых систем, которые называются системами счисления. Все системы счисления делятся на позиционные и непозиционные.

Система счисления – это способ записи чисел с помощью специальных знаков – цифр .

Числа:
123, 45678, 1010011, CXL

Цифры:
0, 1, 2, … I, V, X, L, …

Алфавит – это набор цифр . {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}

Типы систем счисления:

непозиционные – значение цифры не зависит от ее места (позиции) в записи числа;

позиционные – зависит от ее места (позиции) в записи числа.

Непозиционные системы

Унарная – одна цифра обозначает единицу (1 день, 1 камень, 1 баран, …)

Римская:
I – 1 (палец), V – 5 (раскрытая ладонь, 5 пальцев), X – 10 (две ладони), L – 50, C – 100 (Centum ), D – 500 (Demimille ), M – 1000 (Mille )

Позиционная система: значение цифры определяется ее позицией в записи числа.

Десятичная система:

первоначально – счет на пальцах изобретена в Индии, заимствована арабами, завезена в Европу

Алфавит: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9

Основание (количество цифр): 10

разряды

3 7 8 = 3·102 + 7·101 + 8·100

300 70 8

Другие позиционные системы:

двоичная, восьмеричная, шестнадцатеричная (информатика)

двенадцатеричная (1 фут = 12 дюймов, 1 шиллинг = 12 пенсов)

двадцатеричная (1 франк = 20 су)

шестидесятеричная (1 минута = 60 секунд, 1 час = 60 минут)

Cистемы счисления в компьютерах

В XVII веке немецкий ученый Готфрид Лейбниц предложил уникальную систему представления чисел с помощью всего двух символов – 0 и 1. Сегодня этот способ повсеместно используется в технике, в том числе и в компьютерах и называется дискретным.

Компьютер способен хранить только дискретно представленную информацию. Его память, как бы велика она ни была, состоит из отдельных битов, а значит, по своей сути дискретна.

Язык компьютера - это язык двоичных чисел - двоичный алфавит, имеющий два знака, 1 и 0. Этим знакам в логике и технике приводят в соответствие понятия - да и нет, истина и ложь, включено и выключено. Такой алфавит называют еще бинарным . В соответствии с этим введена и наименьшая единица информации - бит (англ. bit, от binary - двоичный и digit - знак). Одного бита информации достаточно, чтобы передать слово "да" или "нет", закодировать, например, состояние электролампочки. Кстати, на некоторых выключателях пишут "1 -включено" и "0 - выключено". Взгляд на выключатель снимает для нас неопределенность в его состоянии. При этом мы получаем количество информации, равное одному биту.

БИТ - наименьшая единица измерения информации, соответствующая одному разряду машинного двоичного кода.

Двоичная кодировка (двоичная система счисления ) имеет ряд преимуществ перед другими системами кодирования:

Для ее реализации нужны технически не сложные элементы с двумя возможными состояниями (есть ток - нет тока, намагничен - не намагничен и т.д.).

Представление информации посредством только двух состояний надежно и помехоустойчиво.

Возможно применение особой алгебры логики (булевой алгебры) для выполнения логических преобразований информации.

Двоичная арифметика намного проще десятичной. Двоичные таблицы сложения и умножения предельно просты.

Обработка информации в компьютере основана на обмене электрическими сигналами между различными устройствами машины. Признак наличия сигнала можно обозначить цифрой 1, признак отсутствия - цифрой 0.

ДВОИЧНОЕ КОДИРОВАНИЕ ТЕКСТА

Для представления текста в компьютере используется 256 различных знаков. Для кодирования 1 знака отводится 8 битов.

Кодирование – присвоение каждому символу десятичного кода от 0 до 255 или соответствующего ему двоичного кода от 00000000 до 11111111

Присвоение символу определенного кода – это вопрос соглашения, которое фиксируется в кодовой таблице.

В качестве международного стандарта была принята кодовая таблица ASCII (American Standard Code for Information Interchange) :

Коды с 0 по 32 (первые 33 кода) - коды операций (перевод строки, ввод пробела, т.е. соответствуют функциональным клавишам);

Коды с 33 по 127 – интернациональные, соответствуют символам латинского алфавита, цифрам, знакам арифметических операций, знакам препинания;

Коды с 128 по 255 – национальные, т.е. кодировка национального алфавита.

на 1 символ отводится 1 байт (8 бит), всего можно закодировать 2 8 = 256 символов

С 1997 года появился новый международный стандарт Unicode , который отводит для кодировки одного символа 2 байта (16 бит), и можно закодировать 65536 различных символов (Unicode включает в себя все существующие, вымершие и искусственно созданные алфавиты мира, множество математических, музыкальных, химических и прочих символов)

В настоящий момент существует пять кодировок кириллицы: КОИ-8, CP1251, CP866, ISO, Mac. Для преобразования текстовых документов из одной кодировки в другую существуют программы которые называются Конверторы

I = i * K

Билет № 4

1. Дискретное представление информации: кодирование цветного изображения в компьютере (растровый подход). Представление и обработка звука и видеоизображения. Понятие мультимедиа.

2. Работа с файловой системой, с графическим интерфейсом (выполнение стандартных операций с файлами: создание, копирование, переименование, удаление). Организация индивидуального информационного пространства (настройка элементов рабочего стола, проверка на вирусы, использование архиватора).

Информация, в том числе графическая и звуковая, может быть представлена в аналоговой или дискретной форме. В компьютере информация хранится в дискретной форме. Графическая и звуковая информация из аналоговой формы в дискретную преобразуется путем дискретизации, т.е разбиения непрерывного графического изображения и непрерывного звукового сигнала на отдельные элементы.

Кодирование графической информации

Пространственная дискретизация – перевод графического изображения из аналоговой формы в цифровой компьютерный формат путем разбивания изображения на отдельные маленькие фрагменты (точки) где каждому элементу присваивается код цвета.

Пиксель – min участок изображения на экране, заданного цвета

Растровое изображение формируется из отдельных точек - пикселей, каждая из которых может иметь свой цвет. Двоичный код изображения , выводимого на экран храниться в видеопамяти. Кодирование рисунка растровой графики напоминает – мозаику из квадратов, имеющих определенный цвет.

Качество кодирования изображения зависит от :

1) размера точки (чем меньше её размер, тем больше кол-во точек в изображении);

2) количества цветов (чем большее кол-во возможных состояний точки, тем качественнее изображение) Палитра цветов – совокупность используемого набора цвета.

Качество растрового изображения зависит от :

1) разрешающей способности монитора – количество точек по вертикали и горизонтали.

2) используемой палитры цветов (16, 256, 65536 цветов)

3) глубины цвета – количество бит для кодирования цвета точки

Для хранения черно-белого изображения используется 1 бит.

Цветные изображения формируются в соответствии с двоичным кодом цвета, который хранится в видеопамяти. Цветные изображения имеют различную глубину цвета. Цветное изображение на экране формируется за счет смешивания трех базовых цветов – красного, зеленого и синего. Для получения богатой палитры базовым цветам могут быть заданы различные интенсивности.

ДВОИЧНОЕ КОДИРОВАНИЕ ЗВУКА

В аналоговой форме звук представляет собой волну с непрерывно меняющейся амплитудой и частотой. На компьютере работать со звуковыми файлами начали с начала 90-х годов. В основе кодирования звука с использованием ПК лежит – процесс преобразования колебаний воздуха в колебания электрического тока и последующая дискретизация аналогового электрического сигнала. Кодирование и воспроизведение звуковой информации осуществляется с помощью специальных программ (редактор звукозаписи). Качество воспроизведения закодированного звука зависит от – частоты дискретизации и её разрешения (глубины кодирования звука - количество уровней)

Временная дискретизация – способ преобразования звука в цифровую форму путем разбивания звуковой волны на отдельные маленькие временные участки где амплитуды этих участков квантуются (им присваивается определенное значение).

Это производится с помощью аналого-цифрового преобразователя, размещенного на звуковой плате. Таким образом, непрерывная зависимость амплитуды сигнала от времени заменяется дискретной последовательностью уровней громкости. Современные 16-битные звуковые карты кодируют 65536 различных уровней громкости или 16-битную глубину звука (каждому значению амплитуды звук. сигнала присваивается 16-битный код)

Качество кодирование звука зависит от :

1) глубины кодирования звука - количество уровней звука

2) частоты дискретизации – количество изменений уровня сигнала в единицу

времени (как правило, за 1 сек).

Случайные события могут быть описаны с использованием понятия «вероятность». Соотношения теории вероятностей позволяют найти (вычислить) вероятности как одиночных случайных событий, так и сложных опытов, объединяющих несколько независимых или связанных между собой событий. Однако описать случайные события можно не только в терминах вероятностей.

То, что событие случайно, означает отсутствие полной уверенности в его наступлении, что, в свою очередь, создает неопределенность в исходах опытов, связанных с данным событием. Безусловно, степень неопределенности различна для разных ситуаций.

Например, если опыт состоит в определении возраста случайно выбранного студента 1-го курса дневного отделения вуза, то с большой долей уверенности можно утверждать, что он окажется менее 30 лет; хотя по положению на дневном отделении могут обучаться лица в возрасте до 35 лет, чаще всего очно учатся выпускники школ ближайших нескольких выпусков. Гораздо меньшую определенность имеет аналогичный опыт, если проверяется, будет ли возраст произвольно выбранного студента меньше 18 лет. Для практики важно иметь возможность произвести численную оценку неопределенности разных опытов. Попробуем ввести такую количественную меру неопределенности.

Начнем с простой ситуации, когда опыт имеет %%n%% равновероятных исходов. Очевидно, что неопределенность каждого из них зависит от n, т.е.

Мера неопределенности является функцией числа исходов %%f(n)%%.

Можно указать некоторые свойства этой функции:

%%f(1) = 0%%, поскольку при %%n = 1%% исход опыта не является случайным и, следовательно, неопределенность отсутствует;
%%f(n)%% возрастает с ростом %%n%%, поскольку чем больше число возможных исходов, тем более затруднительным становится предсказание результата опыта.

* Для обозначения опытов со случайными исходами будем использовать греческие буквы (%%α%%, %%β%% и т.д.), а для обозначения отдельных исходов опытов (событий) - латинские заглавные (%%А%%, %%В%% и т.д.).

Для определения явного вида функции %%f(n)%% рассмотрим два независимых опыта %%α%% и %%β*%% с количествами равновероятных исходов, соответственно %%n_α%% и %%n_β%%. Пусть имеет место сложный опыт, который состоит в одновременном выполнении опытов α и β; число возможных его исходов равно %%nα \cdot nβ%%, причем, все они равновероятны. Очевидно, неопределенность исхода такого сложного опыта %%α ^ β%% будет больше неопределенности опыта %%α%%, поскольку к ней добавляется неопределенность %%β%%; мера неопределенности сложного опыта равна %%f(n_α \cdot n_β)%%. С другой стороны, меры неопределенности отдельных %%α%% и %%β%% составляют, соответственно, %%f(n_α)%% и %%f(n_β)%%. В первом случае (сложный опыт) проявляется общая (суммарная) неопределенность совместных событий, во втором - неопределенность каждого из событий в отдельности. Однако из независимости %%α%% и %%β%% следует, что в сложном опыте они никак не могут повлиять друг на друга и, в частности, %%α%% не может оказать воздействия на неопределенность %%β%%, и наоборот. Следовательно, мера суммарной неопределенности должна быть равна сумме мер неопределенности каждого из опытов, т.е. мера неопределенности аддитивна:

$$f(n_α \cdot n_β)=f(n_α)+f(n_β)~~~~~~(2.1)$$

Теперь задумаемся о том, каким может быть явный вид функции %%f(n)%%, чтобы он удовлетворял свойствам (1) и (2) и соотношению (2.1)? Легко увидеть, что такому набору свойств удовлетворяет функция %%log(n)%%, причем можно доказать, что она единственная из всех существующих классов функций. Таким образом:

За меру неопределенности опыта с n равновероятными исходами можно принять число %%log(n)%%.

Следует заметить, что выбор основания логарифма в данном случае значения не имеет, поскольку в силу известной формулы преобразования логарифма от одного основания к другому.

$$log_b n=log_b а\cdot log_a n $$

переход к другому основанию состоит во введении одинакового для обеих частей выражения (2.1) постоянного множителя %%log_b а%%, что равносильно изменению масштаба (т.е. размера единицы) измерения неопределенности. Поскольку это так, имеется возможность выбрать удобное (из каких-то дополнительных соображений) основание логарифма. Таким удобным основанием оказывается 2, поскольку в этом случае за единицу измерения принимается неопределенность, содержащаяся в опыте, имеющем лишь два равновероятных исхода, которые можно обозначить, например, ИСТИНА (True) и ЛОЖЬ (False) и использовать для анализа таких событий аппарат математической логики.

Единица измерения неопределенности при двух возможных равновероятных исходах опыта называется бит .

Название бит происходит от английского binary digit, что в дословном переводе означает «двоичный разряд» или «двоичная единица».

Таким образом, нами установлен явный вид функции, описывающей меру неопределенности опыта, имеющего %%n%% равновероятных исходов:

$$f(n)=log_2 n~~~~~~(2.2)$$

Эта величина получила название энтропия . В дальнейшем будем обозначать ее Н.

Вновь рассмотрим опыт с %%n%% равновероятными исходами. Поскольку каждый исход случаен, он вносит свой вклад в неопределенность всего опыта, но так как все %%n%% исходов равнозначны, разумно допустить, что и их неопределенности одинаковы. Из свойства аддитивности неопределенности, а также того, что согласно (2.2) общая неопределенность равна %%log_2 n%%, следует, что неопределенность, вносимая одним исходом составляет

$$\frac{1}{n}log_2 n = - \frac{1}{n}log_2 \frac{1}{n} = -p \cdot log_2 p $$

где %%р =\frac{1}{n}%% - вероятность любого из отдельных исходов.

Таким образом, неопределенность, вносимая каждым из равновероятных исходов, равна:

$$H=-p \cdot log_2 p~~~~~~~~~~~~(2.3)$$

Теперь попробуем обобщить формулу (2.3) на ситуацию, когда исходы опытов неравновероятны, например, %%p(A_1)%% и %%p(A_2)%%. Тогда:

$$H_1=-p(А_1) \cdot log_2 р(А_1)$$ $$H_2=-p(А_2) \cdot log_2 р(А_2)$$

$$H=H_1+H_2=-p(А_1) \cdot log_2 р(А_1)-p(А_2) \cdot log_2 р(А_2)$$

Обобщая это выражение на ситуацию, когда опыт %%α%% имеет %%n%% неравновероятных исходов %%А_1, А_2... А_n%%, получим:

$$H(α)=-\sum^{n}_{i=1} {p(А_i)}\cdot log_2 p(А_i)~~~~~~(2.4)$$

Введенная таким образом величина, как уже было сказано, называется энтропией опыта. Используя формулу для среднего значения дискретных случайных величин, можно записать:

$$H(α)\leqslant -log_2 p(A^α)$$

%%А^α%% - обозначает исходы, возможные в опыте α.

Энтропия является мерой неопределенности опыта, в котором проявляются случайные события, и равна средней неопределенности всех возможных его исходов.

Для практики формула (2.4) важна тем, что позволяет сравнить неопределенности различных опытов со случайными исходами.

Пример 2.1. Имеются два ящика, в каждом из которых по 12 шаров. В первом -3 белых, 3 черных и 6 красных; во втором - каждого цвета по 4. Опыты состоят в вытаскивании по одному шару из каждого ящика. Что можно сказать относительно неопределенностей исходов этих опытов?

Согласно (2.4) находим энтропии обоих опытов:

%%Н_α = -\frac{3}{12}log_2 \frac{3}{12}-\frac{3}{12}log_2 \frac{3}{12}-\frac{6}{12}log_2 \frac{6}{12}=1,50%% бит

%%Н_β = -\frac{4}{12}log_2 \frac{4}{12}-\frac{4}{12}log_2 \frac{4}{12}-\frac{4}{12}log_2 \frac{4}{12}=1,58%% бит

%%Н_β > Н_α%%, т.е. неопределенность результата в опыте β выше и, следовательно, предсказать его можно с меньшей долей уверенности, чем результат α.

Случайность и неопределенность

Комбинаторика — это раздел математики, изучающий сочетания, перестановки, размещения и перечисления элементов множества.

Что такое неопределенность?

Неопределенность — это недостаток или отсутствие информации о чем-либо.

Случайность — это категория для обозначения связей между такими явлениями реального мира, которые в одних условиях могут осуществиться, а в других — нет. Случайность события заключается в том, что реализация того или иного исхода имеет некоторую степень неопределенности.

Случайность проявляется практически во всех областях деятельности человека.

Событие — это явление, произошедшее в результате действий. События обычно обозначаются большими латинскими буквами: А, В, С и т. д.

Случайное событие — это событие, которое может как произойти, так и не произойти.

Суммой событий Ай В называется событие С, которое состоит в появлении события А или события В или обоих событий сразу:

Произведением событий А и В называется событие С, которое состоит в совместном появлении событий А и В (их совмещении):

Вероятность события — это мера объективной возможности появления события.

Событие А называется независимым от события В, если вероятность события А не зависит от того, наступило событие В или нет. Иначе событие А называется зависимым от события В.

Несовместными называются события, которые не могут наступить одновременно: наступление одного исключает появление другого.

Псевдослучайные числа - это числа, которые используются в программировании для имитации случайных чисел.

Генератор псевдослучайных чисел - это алгоритм, создающий последовательность чисел, элементы которой почти независимы друг от друга и подчиняются определённому распределению.

Генератор псевдослучайных последовательностей - это алгоритм построения последовательности псевдослучайных чисел, обусловленной неким внешним источником случайных значений (например, помехами). Зная i-e число в последовательности, по формулам можно определить её (г + 1)-й элемент.

Алгоритмы генерации псевдослучайных последовательностей периодичны.

Примеры. 1. Определить вероятность появления грани игрального кубика с числом 6.

В этом случае количество общих исходов равно 6, поскольку в игральном кубике 6 граней. Однако благоприятный исход только один, так как у кубика только одна грань с цифрой 6, поэтому

Пример 2. Сгенерировать список чисел от 1 до N, расположенный в случайном порядке.

1- й способ

Если позиция элемента содержит «О», можно помещать элемент.

Если позиция не «О», то генерируется случайный номер для элемента.

2- й способ

Присваиваем элементам списка нулевые значения.

Помещаем элемент в последовательность.

Если позиция не «0», то проверяем все последующие, пока не найдём «0».

3- й способ

Присваиваем элементам списка нулевые значения.

Помещаем элемент в последовательность.

Если позиция элемента содержит «0», можно помещать элемент.