Как вы думаете, когда некоторые данные бесполезны?
Некоторые данные/информация бесполезны, если они не играют никакой роли в понимании интересующей нас гипотезы.
Нас интересует понимание следующей проблемы.
X — какое-то событие. Y — другое событие. Как много информации Y и X дают друг о друге?
Мы можем моделировать событие случайной величиной. Итак, давайте переформулируем задачу следующим образом.
X и Y — две случайные величины. Как много информации Y и X дают друг о друге?
Есть нечто, называемое энтропией. Но я не буду вдаваться в подробности. Скорее я дам только вероятностный взгляд. Условная вероятность марширует здесь. Мы должны использовать идею, что мы использовали информацию Y, т.е. обусловлены Y. Следовательно, мы увидим, как X | Y будет вести себя?
Как X | Y вести себя? Если Y как-то влияет на X, то X | Y изменился бы правильно?
Но если Y не влияет на X, то X | Y не изменится и останется таким же, как X. Математически это означает
Х | Y ~ X тогда и только тогда, когда X и Y независимы.
Мы не можем различить начальное и конечное даже после обусловливания Y.
Теорема
Доказательство
Шаг 1
Шаг 2
Упражнения
Упражнение 1
(X, Y) — двумерная стандартная норма с корреляцией 0,5, тогда
(2X — Y ) и Y независимы?
Упражнение 2
Случайные мысли (?)
Как количественно определить количество информации, содержащейся в случайной величине в другой случайной величине?
Информация, содержащаяся в X = энтропия случайной величины H(X), определяется как H(X) = E(-log(P(X)).
Теперь определим информацию Y, содержащуюся в X, как H(X) — H(X|Y).
Таким образом, получается, что
H(X) — H(X|Y)
= E(log(P(X|Y)/P(X)) ) [Ожидание учитывается (X,Y)]
= H(Y) — H(Y|X)
= D(X,Y).
D(X, Y) = количество информации, содержащейся в X и Y друг о друге.
Упражнения
- Докажите, что H(f(X)) почти равно H(X).
- Докажите, что X и Y независимы тогда и только тогда, когда D(X, Y) = 0.
Примечание: это всего лишь мысленная конструкция, которую я сделал, и я не уверен в существовании меры этой информации, содержащейся в литературе. Но я надеюсь, что смог поделиться с вами некоторой статистической мудростью. Но я считаю, что это естественная конструкция, учитывая, что свойства удовлетворены. Будет полезно, если вы раздобудете какую-нибудь существующую литературу и поделитесь ею со мной в комментариях.
Первоначально опубликовано на https://www.cheenta.com 12 июня 2020 г.