При решении задач на вычисление информации используется вероятностный подход
Формула для вычисления вероятности выпадения события
P=K/N, где Р - вероятность, К - количество тех наблюдений, при которых наступила рассматриваемое событие и N - общее количество наблюдений.
Два подхода:
- равновероятностных подход, где вероятность наступления того или иного события равны;
- неравновероятностный, когда вероятности исхода событий не равны.
Равновероятностный подход
А он как раз нужен при решении данной задачи.
Формула вычисления количества информации при равновероятностном подходе
N = 2 i
Где N - количество возможных исходов события, а i - количество информации в битах
Для примера решим такую задачу: Сколько информации получено при сообщении, что монетка упала решкой вверх? Для начала подумаем, равная ли вероятность выпадения решки и орла? Да, монетка могла упасть как орлом, так и решкой вверх. Значит количество возможных исходов события - 2 (или орел, или решка, всего два). Подставляем в формулу, получаем 2 = 21, то есть мы получили один бит информации.
Решение
Наша задача - определить количество информации при вытаскивании красного шара из корзины.
- Для начала решим, равна ли вероятность вытаскивания любого шара? Да, мы могли вытащить любой другой шар с такой же вероятностью, как и красный.
- Шаров всего 8, поэтому подставляем в формулу 8 = 2i
- Высчитываем, что количество информации при вытаскивании красного шара из корзины равно 3 битам (2 с третьей степени равно восьми).