Чем отличается формула Хартли от формулы Шеннона?

Чтобы понять, чем отличаются данные формулы, мы из рассмотрим. 

Формула Хартли: I = log₂N

Формула Шеннона: I = — ( p₁log₂ p₁ + p₂ log₂ p₂ + . . . + p_N log₂ p_N),

По-сути, если если вероятности p₁, ..., p_N равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли. Но есть отличие формул. Формулу Хартли не всегда возможно использовать для определения количества информации, в отличие от формулы Шеннона. В этом их различие.