Понять, как низкое значение p приводит к отклонению нулевой гипотезы. Когда мы начинаем изучать концепции вероятности и статистики, есть несколько тем, которые требуют от нас логического рывка и часто сбивают нас с толку. В своем предыдущем посте я говорил об одной такой теме - доверительном интервале. В этом посте я попытаюсь объяснить еще одну такую ​​запутанную тему - p-value. (Спойлер: нет, это не вероятность, но связано с вероятностью) Почему мы не понимаем концепцию..

Введение В тесте A / B мы используем проверку гипотез, чтобы проверить значимость того, действительно ли наша новая функция улучшает интересующие метрики по сравнению с контрольной группой. Во время анализа, если значение p оказывается больше 5% (скажем), я иногда прихожу к выводу, что мы принимаем нулевую гипотезу, то есть новая функция ничем не отличается от старой. Утверждение неверно? В конце концов, если мы не можем отвергнуть нулевую гипотезу, то какой вред в том, чтобы..