Как вы думаете, когда некоторые данные бесполезны?

Некоторые данные/информация бесполезны, если они не играют никакой роли в понимании интересующей нас гипотезы.

Нас интересует понимание следующей проблемы.

X — какое-то событие. Y — другое событие. Как много информации Y и X дают друг о друге?

Мы можем моделировать событие случайной величиной. Итак, давайте переформулируем задачу следующим образом.

X и Y — две случайные величины. Как много информации Y и X дают друг о друге?

Есть нечто, называемое энтропией. Но я не буду вдаваться в подробности. Скорее я дам только вероятностный взгляд. Условная вероятность марширует здесь. Мы должны использовать идею, что мы использовали информацию Y, т.е. обусловлены Y. Следовательно, мы увидим, как X | Y будет вести себя?

Как X | Y вести себя? Если Y как-то влияет на X, то X | Y изменился бы правильно?

Но если Y не влияет на X, то X | Y не изменится и останется таким же, как X. Математически это означает

Х | Y ~ X тогда и только тогда, когда X и Y независимы.

Мы не можем различить начальное и конечное даже после обусловливания Y.

Теорема

Доказательство

Шаг 1

Шаг 2

Упражнения

Упражнение 1

(X, Y) — двумерная стандартная норма с корреляцией 0,5, тогда
(2X — Y ) и Y независимы?

Упражнение 2

Случайные мысли (?)

Как количественно определить количество информации, содержащейся в случайной величине в другой случайной величине?

Информация, содержащаяся в X = энтропия случайной величины H(X), определяется как H(X) = E(-log(P(X)).

Теперь определим информацию Y, содержащуюся в X, как H(X) — H(X|Y).

Таким образом, получается, что

H(X) — H(X|Y)

= E(log(P(X|Y)/P(X)) ) [Ожидание учитывается (X,Y)]

= H(Y) — H(Y|X)

= D(X,Y).

D(X, Y) = количество информации, содержащейся в X и Y друг о друге.

Упражнения

  • Докажите, что H(f(X)) почти равно H(X).
  • Докажите, что X и Y независимы тогда и только тогда, когда D(X, Y) = 0.

Примечание: это всего лишь мысленная конструкция, которую я сделал, и я не уверен в существовании меры этой информации, содержащейся в литературе. Но я надеюсь, что смог поделиться с вами некоторой статистической мудростью. Но я считаю, что это естественная конструкция, учитывая, что свойства удовлетворены. Будет полезно, если вы раздобудете какую-нибудь существующую литературу и поделитесь ею со мной в комментариях.

Первоначально опубликовано на https://www.cheenta.com 12 июня 2020 г.