Я работаю над глубоким погружением в то, как мы оцениваем производительность алгоритмов машинного обучения и как сравнивать производительность подходов машинного обучения с классическими статистическими подходами, но прежде чем погрузиться слишком глубоко, я хочу установить базовый уровень того, почему мы даже выбрали бы использовать подход машинного обучения по сравнению с другими подходами.
«Корреляция — это не причинность!»
Вы, наверное, слышали этот маленький каштан раньше. Если нет, позвольте мне объяснить, что это часто используемое правило пытается напомнить нам об анализе данных.
В экспериментальных условиях мы часто можем видеть корреляцию лечения и результатов, они происходят вместе, но простое наблюдение того, что что-то происходит вместе, не означает, что одно вызывает другое.
Забавный пример действительно странной корреляции: оказывается, расходы США на космос, науку и технологии «вызывают» увеличение смертности от удушения.
Несмотря на то, что это многообещающее объяснительное мастерство (например, R² > 0,99), это явно чушь. Что-то еще в игре. Я бы не стал подавать статью, основанную на приведенных выше данных, но я мог бы попытаться продать гробы на неосвоенных рынках с ее помощью.
Если бы мы проводили эксперимент, мы бы попытались контролировать все, что могло бы повлиять на наш эксперимент, в надежде, что в конце мы сможем сказать, что наше лечение (например, наличие гена А, дозировка лекарства и т. д.) было ответственно за это. изменения в нашем результате. Так что, в конце концов, мы можем опубликовать статью, в которой говорится, что А вызывает Б.
Когда А — наркотик, а Б — «продлевает жизнь на 100 лет», это очень захватывающе. Но обычно А не вызывает Б, и нам приходится пробовать новый эксперимент.
Но бизнес не всегда в состоянии обеспечить такой жесткий контроль над всеми факторами, которые могут повлиять на результат. Кроме того, чаще всего мы не контролируем большую часть того, что влияет на результат. Скорее, мы хотели бы выяснить, какие настройки или ситуации приводят к определенным результатам.
Короче говоря, в бизнесе мы не проводим научных экспериментов, поэтому корреляции, которые работают, по крайней мере некоторое время, обычно достаточно хороши.
Когда мы делаем регрессию, мы хотим оценить производительность, по сути, мы хотим сказать, что наша модель достаточно надежна. И важно, что когда мы используем регрессионную модель для прогнозирования, скажем, качества потенциальных клиентов (например, ожидаемого дохода, вероятности конверсии и т. д.), мы не проводим жесткий эксперимент. Если окажется, что наше «обращение» (например, представленное предложение) сильно коррелирует с другими факторами, которые мы, возможно, не в состоянии собрать (например, демографическими данными, уровнем дохода и т. д.), это почти не имеет значения, потому что то, что мы на самом деле мы ищем снижение сложности нашего пространства принятия решений, которое помогает нам принимать решения, которые приносят нам деньги.
Если мы публикуем статью, необоснованная гипотеза, основанная исключительно на корреляции, означает отклонение. В бизнесе последовательные тенденции, которые помогают нам принимать решения, положительно влияющие на нашу прибыль, называются победой.
Проблема со статистикой
Статистика – достойная и замечательная область знаний. Наставник в аспирантуре часто напоминал мне, что статистика является защитником научного метода, и когда она делается добросовестно, это действительно так.
Статистика родилась из-за необходимости делать выводы из очень небольшого количества данных, потому что, когда точка данных представляет собой редкую форму рака, вы не можете просто «собрать больше данных».
Для всех случаев использования в бизнесе, кроме нескольких, статистика лишь косвенно полезна как средство анализа тенденций. Основная ценность статистики, определяющая вероятную причинно-следственную связь, просто намного больше, чем полезно.
Это не означает, что мы не должны использовать статистические методы для анализа тенденций, но это означает, что мы должны постоянно искать методы, которые лучше подходят для наших нужд.
Машинное обучение и бизнес
Машинное обучение — это область компьютерных наук, которая заимствовала методы из статистики, а в некоторых случаях совместно открыла методы для вывода результатов, аналогичных статистическим. Статистика — это процесс, с помощью которого мы с уверенностью устанавливаем, что А вызывает Б. Однако цель машинного обучения — просто идентифицировать Б. Если мы сможем использовать A, чтобы сделать это, отлично. Если нет, мы можем попробовать C. Если A и C вместе идентифицируют B более надежно, чем A или C по отдельности, мы будем использовать их. Если нет, то попробуем что-нибудь другое.
Когда машина правильно идентифицирует написанную от руки цифру, что издаваемый звук должен быть записан как CAT, или находит достоверную тенденцию в облаке данных, которая «предсказывает» доход, над нами не стоит комитет рецензентов, чтобы отвергнуть вывод, потому что это неверно. основывается только на корреляции, а не на разумном объяснении причинно-следственной связи.
Это может показаться эзотерическим различием, но оно очень важно. Большинство из нас, кто использует прикладные статистические измерения в бизнес-среде, делают это потому, что нас учили регрессионному анализу в наших университетских исследованиях либо как часть курса статистики, либо как часть бизнес-курса, либо потому, что мы обнаружили, что можем отбросить линию регрессии. в Экселе.
Возможно, мы развили интуитивное или даже надежное техническое понимание того, что делает регрессия при осмыслении облака точек данных, но мы полагаемся только на удобство «объяснимости» как на защиту наших действий, когда мы полагаемся на такие вещи, как p-значение, R² и другие показатели, чтобы оправдать использование нами A, а не C, при «прогнозировании» B.
Определение причинно-следственной связи — это то, что p-значения и другие показатели призваны помочь исследователю, но в бизнесе и машинном обучении причинно-следственная связь — это слишком высокая планка для того, что она может нам дать. Многие из нас смогли извлечь большую выгоду из выявления тенденций, которые не имеют ни капли объяснения, когда дело доходит до причинно-следственной связи, и в этом нет ничего постыдного.
Итак, если мы заинтересованы только в точном определении прибыльных тенденций в данных, подобно тому, как хороший робот может надежно избегать препятствий на своем пути, есть ли необходимость в церемониях метрик, которые мы кооптируем в качестве меры тенденции? точность, когда эти показатели должны были служить мерой объяснения причинно-следственной связи?
No.
Машинное обучение — это именно то, о чем говорит название. Способность машины научиться делать что-то без необходимости быть явно запрограммированной для этого. У робота нет стимула искать причинно-следственную связь, когда достаточно корреляции. Преследуя цель точной идентификации вещей, машинное обучение как дисциплина пришло к выводу, что несколько вещей имеют большее значение, чем другие:
- Точность превосходит объяснимость
- Точность превосходит простоту (извините, Оккам)
- Обобщение важнее объяснения
- Данные превосходят изощренность — методы машинного обучения могут показаться сложными, но они просто бесхитростны по сравнению с изощренной элегантностью центральной предельной теоремы.
- Применение превосходит теорию
Хотя вышеприведенного списка должно быть достаточно, чтобы взволновать любого исследователя, он является почти сплоченным кличем для бизнеса.
Вывод
Короче говоря, методы машинного обучения идеально подходят для бизнеса, потому что они идеально подходят для удовлетворения наших потребностей: точно определять тенденции.
Поэтому мы не должны удивляться, когда узнаем, что метрики машинного обучения мало что объясняют, кроме точности и того, какие данные отвечают за повышение точности.
