Объёмный подход

Больше похоже на это

Информационное Оружие

от Виктория Лычагина

VIP-встреча

от Shvets Pavel

Аудитор нового времени

от Ринат 1789

Оформление текста

от Маргарита Литвинова

Формула хартли

Количество возможных событий и количество информации

N=2^i

Количество информации, которое несёт каждый символ

i=log2N N - мощность алфавита

Единицы измерения

Килобайт (Кбайт) = 1024 байт Мегабайт (Мбайт) = 1024 Кбайт Гигабайт (Гбайт) = 1024 Мбайт Терабайт (Тбайт) = 1024 Гбайт Петабайт (Пбайт) = 1024 Тбайт Эксабайт (Эбайт) = 1024 Пбайт Зеттабайт (Збайт) = 1024 Эбайт Йоттабайт (Йбайт) = 1024 Збайт

k - символов

V=K⋅i

V=K⋅log2N

Вероятностный подход

Примеры

В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?

N1 = 8 черных шаров N2 = 24 белых шаров N = 8 + 24 = 32 шара всего p = 8/32 = 1/4 вероятность того, что достали черный шар I = log 1/(1/4) = 2 бита

Пусть вероятность выпадения осадков в виде дождя равна 0,5, ветра - 0,25, грозы и молнии - 0,125. Какое количество информации получится при реализации одного из событий?

I = - (0.5 log 0.5 + 0.25 log 0.25 + 0.125 log 0.125) = 1.75 бит

Пусть бри бросании несимметричной четырехгранной пирамидки вероятности отдельных событий равны: p1 = 1/2 p2 = 1/4 p3 = 1/8 p4 = 1/8 Какой количество информации

I = -( 1/2 log 1/2 + 1/4 log 1/4 + 1/8 log 1/8 *2) = 14/8 = 1.75 бит

Формула Шеннона

Формула

Вероятностный подход предполагает, что возможные события имеют различные вероятности реализации.

2^i = 1/p

Вероятность

Вероятностью случайного события (p) называется отношение числа благоприятствующих событию исходов (m) к общему числу исходов (n): p = m/n

случайное событие - событие, которое может произойти или не произойти (например, выигрыш билета в лотерее, извлечение карты определенной масти из колоды карт).

множество исходов испытания - множество всех возможных исходов испытания;

исходы испытаний - результаты испытания (например, при подбрасывании монеты выпал «орел», или из корзины извлекли белый шар);

единичное испытание - испытание, в котором совершается одно действие с одним предметом (например, подбрасывается монетка, или из корзины извлекается шар);

испытание - любой эксперимент;

Содержательный подход

примеры

Шахматная доска состоит из 64 полей: 8 столбцов на 8 строк. Какое количество бит несет сообщение о выборе одного шахматного поля?

Поскольку выбор любой из 64 клеток равновероятен, то количество бит находится из формулы: 2^i =64, i=log2 64 = 6. Следовательно, i=6 бит.

загадали некоторое целое число в определённом диапазоне. Угадывая это число, получили 7 бит информации. Сколько чисел содержит диапазон?

i = 7, 2^i = N, N = 2^7 = 128 чисел

в доме 16 этажей, на каждом этаже по 4 квартиры. Какое количество информации несёт сообщение о том, что Игорь живет на 7-ом этаже в квартире №47?

всего в доме 16*4 = 64 квартиры, т.е. N = 64 i = log2N = log 64 = 6 бит

количество информации, заключенное в сообщении, определяется объемом знаний, который это сообщение несет получающему его человеку. Если сообщение не информативно, то количество информации с точки зрения человека = 0

Алфавитный подход

Примеры задач

В рулетке общее количество лунок равно 128. Какое количество информации мы получаем в зрительном сообщения об остановке шарика в одной из лунок?

N = 128 I = log2N = log128 = 7 бит

Информационное сообщение объемом 1,5 Кб содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?

I = 1,5 Кб = 1,5*1024 = 1536 байта = 1536*8 = 12288 бит i = I/K = 12288/3072 = 4 бита N = 2^i = 2^4 = 16 символов

Одно племя имеет 32-символьный алфавит, а второе племя – 64-символьный алфавит. Вожди племен обменялись письмами. Письмо первого племени содержало 80 символов, а письмо второго племени – 70 символов. Сравните объем информации, содержащийся в письмах.

Первое племя: 2^i = 32, i = 5 бит - количество информации, которое несёт каждый символ, 5*80=400 бит Второе племя: 2^i = 64, i = 6 бит - количество информации, которое несёт каждый символ, 6*70=420 бит Следовательно, письмо второго племени содержит больше информации