Формула хартли
Количество возможных событий
и количество информации
N=2^i
Количество информации,
которое несёт каждый символ
i=log2N
N - мощность алфавита
Единицы измерения
Килобайт (Кбайт) = 1024 байт
Мегабайт (Мбайт) = 1024 Кбайт
Гигабайт (Гбайт) = 1024 Мбайт
Терабайт (Тбайт) = 1024 Гбайт
Петабайт (Пбайт) = 1024 Тбайт
Эксабайт (Эбайт) = 1024 Пбайт
Зеттабайт (Збайт) = 1024 Эбайт
Йоттабайт (Йбайт) = 1024 Збайт
k - символов
V=K⋅i
V=K⋅log2N
Объёмный подход
Вероятностный подход
Примеры
В корзине лежат 8 черных
шаров и 24 белых. Сколько
информации несет сообщение
о том, что
достали черный шар?
N1 = 8 черных шаров
N2 = 24 белых шаров
N = 8 + 24 = 32 шара всего
p = 8/32 = 1/4 вероятность того,
что достали черный шар
I = log 1/(1/4) = 2 бита
Пусть вероятность выпадения
осадков в виде дождя равна
0,5, ветра - 0,25, грозы и молнии
- 0,125. Какое количество
информации получится при
реализации одного из событий?
I = - (0.5 log 0.5 + 0.25 log 0.25 +
0.125 log 0.125) = 1.75 бит
Пусть бри бросании
несимметричной
четырехгранной пирамидки
вероятности отдельных событий
равны:
p1 = 1/2
p2 = 1/4
p3 = 1/8
p4 = 1/8
Какой количество информации
I = -( 1/2 log 1/2 + 1/4 log 1/4 +
1/8 log 1/8 *2) = 14/8 = 1.75 бит
Формула Шеннона
Формула
Вероятностный подход
предполагает, что возможные
события имеют различные
вероятности реализации.
2^i = 1/p
Вероятность
Вероятностью случайного
события (p) называется
отношение числа
благоприятствующих
событию исходов (m) к общему
числу исходов (n):
p = m/n
случайное событие - событие,
которое может произойти или
не произойти (например,
выигрыш билета в лотерее,
извлечение карты
определенной масти из колоды
карт).
множество исходов испытания -
множество всех возможных
исходов испытания;
исходы испытаний - результаты
испытания (например, при
подбрасывании монеты выпал
«орел», или из корзины
извлекли белый шар);
единичное испытание -
испытание, в котором
совершается одно действие с
одним предметом
(например, подбрасывается
монетка, или из корзины
извлекается шар);
испытание - любой
эксперимент;
Содержательный подход
примеры
Шахматная доска состоит из 64
полей: 8 столбцов на 8 строк.
Какое количество бит несет
сообщение о выборе одного
шахматного поля?
Поскольку выбор любой из 64
клеток равновероятен, то
количество бит находится из
формулы:
2^i =64,
i=log2 64 = 6.
Следовательно, i=6 бит.
загадали некоторое целое
число в определённом
диапазоне. Угадывая это число,
получили 7 бит информации.
Сколько чисел содержит
диапазон?
i = 7, 2^i = N,
N = 2^7 = 128 чисел
в доме 16 этажей, на каждом
этаже по 4 квартиры. Какое
количество информации несёт
сообщение о том, что Игорь
живет на 7-ом этаже в квартире
№47?
всего в доме 16*4 = 64
квартиры, т.е. N = 64
i = log2N = log 64 = 6 бит
количество информации,
заключенное в сообщении,
определяется
объемом знаний, который это
сообщение несет получающему
его человеку.
Если сообщение не
информативно, то количество
информации с точки зрения
человека = 0
Алфавитный подход
Примеры задач
В рулетке общее количество
лунок равно 128.
Какое количество информации
мы получаем в зрительном
сообщения об остановке
шарика в одной из лунок?
N = 128
I = log2N = log128 = 7 бит
Информационное сообщение
объемом 1,5 Кб содержит 3072
символа. Сколько символов
содержит
алфавит, при помощи которого
было записано это сообщение?
I = 1,5 Кб = 1,5*1024 = 1536
байта = 1536*8 = 12288 бит
i = I/K = 12288/3072 = 4 бита
N = 2^i = 2^4 = 16 символов
Одно племя имеет 32-символьный
алфавит, а второе
племя – 64-символьный
алфавит. Вожди племен
обменялись письмами. Письмо
первого племени содержало 80
символов, а письмо второго
племени – 70
символов. Сравните объем
информации, содержащийся в
письмах.
Первое племя: 2^i = 32, i = 5 бит
- количество информации,
которое несёт каждый символ,
5*80=400 бит
Второе племя: 2^i = 64, i = 6 бит
- количество информации,
которое несёт каждый символ,
6*70=420 бит
Следовательно, письмо второго
племени содержит больше
информации
Мощность алфавита -
количество символов
используемых в алфавите
Мощность русского алфавита =
256 (2^8)
Алфавит- множество
используемых символов в
языке.
1 символ = 8 бит
позволяет определить
количество
информации, заключенной в
тексте, записанном с помощью
некоторого алфавита.
