СТАТИСТИКА
Цена статистических ошибок
Руководство по экономическим последствиям совершения статистических ошибок для специалистов по данным
Когда вы были ребенком, вы, возможно, читали рассказ «Мальчик, который кричал волк». Это история о пастухе, который поднимал ложную тревогу, увидев волка, и звал людей на помощь, когда на самом деле волка не было. Он неоднократно делал это для своего развлечения, но когда на самом деле был волк, и он звал на помощь, никто не пришел, потому что жители деревни думали, что он снова лжет. Это популярная история, которую читают детям, особенно на уроках нравственного воспитания и этики, где им говорят быть честными и не лгать, поскольку мир не верит лжецам.
Люди не всегда лгут, иногда бывают просто ошибки в суждениях и измерениях, которые могут иметь серьезные последствия и потенциально могут изменить бизнес, общество и обстоятельства. В Интернете есть много практических и информативных ресурсов, которые подробно объясняют, что такое различные типы статистических ошибок, каковы причины этих ошибок и как их предотвратить. Тем не менее, каждое решение, которое человек принимает в бизнесе, имеет последствия. В этой статье я объясню, как установить финансовые последствия совершения статистических ошибок.
Эта статья изложена следующим образом. Мы кратко рассмотрим типы ошибок в статистике с некоторыми примерами. После этого мы определим некоторые термины, относящиеся к области анализа ошибок в машинном обучении: точность, отзыв и специфичность. После этого мы узнаем, как решить, какая ошибка более вредна для вашего бизнеса, принимая во внимание ее экономические издержки. Мы закончим статью обсуждением различных способов уменьшения ошибок. Это общая статья, предназначенная больше для практиков и/или начинающих специалистов по данным, поэтому я избегаю использования математических терминов и статистических символов. Если у вас есть какие-либо вопросы, я доступен для обсуждения. Итак, не откладывая, приступим.
Типы ошибок в статистике
Первое, что нам нужно понять, это термин ошибка. Ошибка – это разница между фактическим значением и установленным/собранным значением величины. Чем выше ошибка, тем ниже наша оценка реальности. Например, если реальная температура на улице 21 С, а моя машина говорит, что 20 С, то есть разница в 1 С или отклонение 4,76% от фактического значения. Согласны ли мы с этой ошибкой, зависит от того, что мы собираемся делать с этим измерением, и каковы будут коммерческие издержки неточного измерения. Одна из целей статистической оптимизации — уменьшить ошибку нашей модели в различных контекстах, чтобы она была достаточно надежной для использования в ряде сценариев.
Тип I: ложноположительная ошибка (ЛОЖНАЯ ТРЕВОГА)
Ошибка типа I, также известная как ложноположительная ошибка, возникает, когда что-то на самом деле не соответствует действительности или не существует, но установлено, что оно истинно или присутствует. Например, если я сделаю тест на COVID, то ошибка типа I (ложноположительная ошибка) будет идентифицировать меня как положительного, хотя на самом деле я не положительный. Другим примером является случай подачи пожарной тревоги при отсутствии возгорания, что является ложной тревогой. Еще одним примером является осуждение кого-то как преступника, хотя на самом деле он не является преступником, или проверка кого-то на беременность, когда они не беременны. Все это примеры ложных срабатываний.
Тип II: ложноотрицательная ошибка (MISS)
Ошибка типа II, также известная как ложноотрицательная ошибка, возникает, когда что-то на самом деле верно или присутствует, но установлено, что оно не соответствует действительности или отсутствует. Например, если я сделаю тест на COVID, то ошибка типа II (ложноотрицательная ошибка) будет идентифицировать меня как отрицательного, хотя на самом деле я не отрицательный. Другой пример — не поднимать пожарную тревогу, когда действительно есть пожар. Еще одним примером является оправдание кого-то, когда на самом деле он является преступником, или проверка кого-то как не беременного, когда он на самом деле беременен. Все это примеры ложноотрицательных результатов.
Предыдущие примеры показывают, что определение чего-либо как ложноположительного или ложноотрицательного зависит от того, как в этой ситуации определяется «быть положительным». Например, если случай наблюдения огня рассматривается как положительный, то ложный положительный результат вызовет ложную тревогу, когда огня нет. Однако, если случай отсутствия огня рассматривается как положительный, то ложным срабатыванием будет наблюдение огня. Для практических целей и простоты понимания событие считается положительным. Итак, увидеть огонь считается положительным моментом.
Некоторые важные термины
Теперь, когда вы хорошо понимаете термины ложноположительные и ложноотрицательные, давайте разберемся еще с тремя терминами, прежде чем мы перейдем к экономическим издержкам статистических ошибок. Эти термины важны с точки зрения прикладного машинного обучения в бизнес-целях. Как и ранее, мы рассмотрим эти концепции на примерах из реальной жизни.
Предположим, вы работаете в финансовой организации, где процентная ставка, предлагаемая соискателю, зависит от его прошлой кредитоспособности. Человеку с более высокой вероятностью дефолта будет предложена более высокая процентная ставка, а человеку с более низкой вероятностью дефолта будет предложена более низкая процентная ставка. Для простоты предположим, что вас попросили создать модель, которая классифицирует заявителей на заемщиков с высоким или низким уровнем риска. Поскольку у нас есть много людей, которые не соблюдают дефолт, и лишь некоторые из них, у нас будет несбалансированный набор данных. Поэтому мы не можем оценить производительность нашей модели только на основе точности, поэтому нам нужны дополнительные показатели для оценки производительности.
Для этого примера мы будем считать дефолт положительным. Таким образом, человек, который не выполняет свои обязательства, будет считаться положительным. Сейчас мы определим и поймем отзыв или чувствительность, специфичность и точность.
Отзыв или чувствительность или истинная положительная скорость
Чувствительность или полнота — это мера того, насколько хорошо модель может идентифицировать истинных положительных результатов, то есть заемщиков с высоким уровнем риска. В нашем примере истинное положительное значение представляет собой модель, определяющую заемщиков, которые не выполнят свои обязательства, и, таким образом, присваивая им ярлык с высоким уровнем риска, чтобы их процентная ставка была выше по сравнению с теми, у кого риск неплатежа ниже. Если чувствительность нашей модели не высока, это приведет к тому, что большее количество людей получит рейтинг с низким уровнем риска, а значит, и более низкую процентную ставку, поскольку модель не сможет распознать истинные положительные стороны, то есть выявление большего числа людей будет отнести к категории малоопасных. С финансовой точки зрения это может быть опасно для бизнеса, так как больше людей не выполнит свои обязательства, которые, по прогнозам модели, будут заемщиками с более низким уровнем риска. Таким образом, в этом случае наша модель должна обладать высокой чувствительностью.
Специфичность или истинно отрицательный результат
Специфичность — это мера того, насколько хорошо модель может идентифицировать истинно отрицательных заемщиков, то есть заемщиков с низким уровнем риска. В нашем примере истинно отрицательное значение представляет собой модель, идентифицирующую заемщиков, которые не объявят дефолт, и, таким образом, присваивая им ярлык с низким уровнем риска, так что их процентная ставка ниже по сравнению с теми, у кого более высокий риск дефолта. Если специфичность нашей модели не высока, это приведет к тому, что больше людей получат более высокую процентную ставку, поскольку модель не сможет распознать истинные негативы, то есть выявление большего количества людей будет классифицироваться как высокий риск. С финансовой точки зрения, это может быть хорошо, поскольку банк будет получать больший доход, но это также может означать, что некоторые заемщики не будут брать взаймы, поскольку стоимость заимствования будет слишком высокой, что приведет к потере клиентов или разочарованию клиентов. и переход к конкурентам. Имея данные, можно определить, что будет дороже: потеря клиентов (потеря потенциального дохода) или получение большего дохода от существующих клиентов.
Точность или положительная прогнозирующая скорость
Точность является мерой различения модели. Другими словами, если ваша модель идентифицирует 500 человек как имеющих высокий риск дефолта, но на самом деле только 400 человек являются теми, кто не выполнил свои обязательства (прошлые данные), то точность модели составляет 400/500 = 0,8.
Здесь стоит отметить, что обсуждение точности, полноты или специфичности в отдельности бесполезно. Вы должны знать все три значения, прежде чем сможете оценить, насколько дорогостоящей будет мера.
Экономические издержки статистических ошибок
Есть два шага, связанные с оценкой стоимости совершения статистических ошибок. Во-первых, определить, что вы назовете положительным. Например, в нашем предыдущем примере человек, нарушивший правила, считается положительным. На втором этапе вычисляется частота ложных срабатываний (частота ложных тревог) и частота ложноотрицательных результатов (частота промахов). Если уровень ложноположительных результатов высок, это означает, что многие люди относятся к группе высокого риска, что не очень хорошо для бизнеса. Если уровень ложноотрицательных результатов высок, это означает, что многие люди относятся к группе низкого риска, что, в свою очередь, приводит к тому, что предприятия теряют деньги. Предположим, что уровень ложных срабатываний нашей модели равен 0,2, это означает, что среди 100 человек наша модель идентифицирует 20 человек как ложноположительные, поэтому 20 клиентов будут разочарованы тем, что они будут помечены как возможные заемщики с высоким уровнем риска. Но если показатель ложноотрицательных результатов нашей модели равен 0,15, это будет означать, что 15 человек из 100, которые должны относиться к группе высокого риска, классифицируются как люди с низким уровнем риска, что потенциально может привести к потере денег для бизнеса. Если средний неплательщик обходится бизнесу в 500 тысяч индийских рупий, то стоимость ложноотрицательного результата составит 0,15X500000 = 75000 за ошибочно идентифицированного клиента. Чтобы рассчитать частоту ложноположительных и ложноотрицательных результатов, рекомендуется найти матрицу путаницы и рассчитать соответствующие значения.
Как уменьшить количество ошибок
Вы никогда не сможете устранить все статистические ошибки. Есть способы их уменьшить. Это способы, которые вы можете использовать для уменьшения статистических ошибок.
- Ошибка типа II имеет обратную зависимость от мощности статистического теста или модели. Сила статистического теста может быть определена как его истинная способность различать реальность и, таким образом, правильно отвергать нулевую гипотезу. Это означает, что чем выше мощность статистического теста, тем ниже вероятность совершения ошибки второго рода. Таким образом можно увеличить мощность теста. Это может иметь финансовые последствия, поскольку большая мощность приводит к увеличению размера выборки и, следовательно, к увеличению затрат. Уменьшение числа ошибок второго рода приводит к увеличению количества совершенных ошибок первого рода. Таким образом, вы должны оценить влияние этих ошибок на стоимость.
- Один из способов уменьшить ошибку первого рода — минимизировать уровень значимости (вероятность отклонения нулевой гипотезы, если она верна). Поскольку уровень значимости выбирается исследователем, уровень может быть изменен. Например, уровень значимости можно минимизировать до 1% (0,01). Это указывает на то, что вероятность ошибочного отклонения нулевой гипотезы (гипотезы об отсутствии различий между двумя переменными) составляет 1%.
Краткое содержание
В этой статье мы обсудили различные типы ошибок, их причины, финансовые последствия и способы уменьшения этих ошибок. Я считаю, что это поможет вам принять обоснованное решение относительно оценки стоимости различных типов ошибок. Более того, необходимо понимать, что статистические ошибки можно лишь минимизировать, а не устранить полностью. Лучший способ справиться с ошибками — продолжать работать над их уменьшением и иметь дополнительные сдержки и противовесы (например, страховку), чтобы уменьшить влияние ложных суждений.
Первоначально опубликовано на https://aayushmalik.substack.com 7 февраля 2022 г.