Если вы, как и я, упорный в данных, который так быстро устает от нормы, вы, должно быть, начали спрашивать себя: «что происходит помимо моделирования отношений. Машинное обучение хорошо предсказывает будущие результаты на основе корреляций с прошлыми данными, но как мы можем сделать еще один шаг?»
Что я вообще говорю? Ты попал сюда, потому что ты более несгибаемый, чем я думал.
Чтобы начать это исследование, давайте начнем с некоторых определений терминов.
Что такое машинное обучение?
Машинное обучение — это подмножество искусственного интеллекта (ИИ), которое позволяет программе (программному обеспечению) изучать и выявлять закономерности, существующие в исторических данных, чтобы они могли делать прогнозы без явного программирования для этого.
В наборе данных для экспериментов с машинным обучением у нас есть X или набор функций и y или целевой набор.
Алгоритм машинного обучения тренируется на отношениях, существующих между X и y, чтобы делать будущие прогнозы невидимых данных набора X.
Машинное обучение хорошо предсказывает будущие результаты на основе корреляций в шаблонах исторических данных, но это отстой, потому что оно предсказывает результаты только на основе корреляции.
Это означает, что корреляции переменных в прошлом проецируются в будущее, и в будущем эти переменные могут не быть (сильно) коррелированными или могут быть смешаны с чем-то другим.
По сути, машинное обучение учится на корреляциях в данных.
Он проецирует корреляции, предубеждения, шаблоны прошлого и пытается дать вам картину того, как будет выглядеть будущее, но это будущее зависит от информации, поступающей из прошлого.
У этого есть обратная сторона, потому что он не принимает во внимание неопределенности, которые могут появиться за пределами набора обучающих данных, которые могут исказить влияние различных входных переменных на прогнозируемый результат.
Итак, он ограничен.
Это ограничивает возможности обслуживания лиц, принимающих решения, и, конечно же, не позволяет лицам, принимающим решения, знать о качестве их решений. Из прогнозов машинного обучения лицо, принимающее решение, имеет только представление о том, как выглядит будущее, но бремя точного решения остается нерешенным.
Машинное обучение не помогает специалисту по данным общаться с заинтересованными сторонами, четкий анализ четких путей
Что такое причинно-следственный вывод?
Причинный вывод или причинно-следственная связь - это процесс определения причинно-следственных связей между переменными в системе. Другими словами, это изучение того, как изменения одной переменной (причины) влияют на другую переменную (следствие или лечение). Это важный аспект понимания механизмов, лежащих в основе системы, и составления прогнозов на основе этого понимания.
Причинно-следственный вывод в машинном обучении использует подход, отличный от традиционного машинного обучения. Он включает использование экспериментальных данных и данных наблюдений для определения причинно-следственных связей между переменными. Затем эта информация используется для построения моделей, которые не только делают прогнозы, но и дают представление о причинно-следственных связях между переменными.
Причинные запросы можно разделить на: гипотетическую причинность (предсказательную) и контрфактическую причинность (объяснительную).
Золотым стандартом для определения причинно-следственных связей являются рандомизированные контролируемые эксперименты (RCE), также известные как A/B-тесты.
В RCE популяция особей делится на две группы:
- лечение и
- контроль,
назначая лечение одной группе и ничего не проводя другой, мы можем измерить результат обеих групп. Предполагая, что экспериментальная и контрольная группы не слишком отличаются друг от друга, мы можем сделать вывод, было ли лечение эффективным, исходя из разницы в результатах между двумя группами.
Но подождите, давайте зададим вопрос, который мой наставник задал мне, когда я изучал причинность.
Мы не всегда можем проводить такие эксперименты, потому что вы не можете AB проверить свою жизнь.
Даже с приложениями, особенно если они критически важны.
В этом случае мы опираемся на данные наблюдений. Одним из самых популярных подходов является метод Джудеи Перл (предполагающий причинное условие Маркова), используемый в статистике для получения причинно-следственных выводов, но это выходит за рамки данной статьи.
Выставка начинается
В розничной компании продажи продукта упали в магазинах в 3 городах. Заинтересованные стороны любопытны, а маркетинговая команда находится в напряжении. Менеджер по маркетингу выбирает отчеты журналов и понимает, что недавно показывалась реклама этого продукта.
Привело ли размещение рекламы к падению продаж или это было просто совпадение?
Большинство решений, основанных на машинном обучении, фокусируются на прогнозировании результатов, а не на понимании причинно-следственных связей. ML может использовать причинно-следственный вывод для измерения влияния нескольких переменных. Интересно, что причинно-следственный вывод смещает повествование о данных «От как к почему», он позволяет исследователю данных задавать вопросы, выходящие за рамки корреляционных исследований, к причинно-следственным связям в шаблонах данных.
«Очень важно интегрировать причинно-следственную связь в ИИ. Текущие подходы к машинному обучению предполагают, что обученная система ИИ будет применяться к тем же данным, что и обучающие данные. В реальной жизни это часто не так». …Йошуа Бенжио
В последние годы машинное обучение стремительно развивается и стало неотъемлемой частью многих отраслей. Применения машинного обучения многочисленны и разнообразны: от компьютерного зрения и обработки естественного языка до автономных систем и рекомендательных систем. Несмотря на широкий спектр приложений, машинное обучение имеет ограничения, особенно когда речь идет о причинно-следственных связях.
«Многие люди, занимающиеся ML/DL [глубоким обучением], знают, что вывод о причинно-следственных связях — важный способ улучшить обобщение». … Ян ЛеКун
В традиционном машинном обучении основное внимание уделяется прогнозному моделированию. Это включает в себя использование данных для обучения модели для прогнозирования будущих результатов на основе прошлых шаблонов данных. Хотя прогностическое моделирование полезно для прогнозного анализа, его возможности ограничены. Это связано с тем, что традиционные модели машинного обучения не учитывают причинно-следственные связи между переменными.
Кроме того, это означает, что модели машинного обучения часто недостаточно надежны, чтобы обрабатывать изменения в типе входных данных, и не всегда могут хорошо обобщать.
Сверхспособности, также известные как сильные мира сего
- общность
Причинный вывод явно преодолевает эту проблему с помощью причинно-следственных связей/графиков, которые рассматривают то, что могло бы произойти (исторические закономерности) при недостатке информации.
2. Четкое понимание корреляционных отношений
Еще одно преимущество причинно-следственного вывода в машинном обучении заключается в том, что он помогает избежать проблемы ложных корреляций. В традиционном машинном обучении корреляции между переменными часто используются для прогнозирования. Однако эти корреляции могут не свидетельствовать о причинно-следственной связи. Используя причинно-следственный вывод, специалисты-практики могут определить фактические причинно-следственные связи между переменными и избежать прогнозов, основанных на ложных корреляциях. Вместо того, чтобы полагаться на фиксированные корреляции между наборами данных, причинно-следственные модели позволяют системам машинного обучения понимать как причинные переменные, так и их влияние на окружающую среду. Это, в свою очередь, позволяет системе идентифицировать объекты независимо от незначительных изменений.
Y=a+bx — простое уравнение линейной регрессии. Из моделирования этой связи с ML мы можем сделать вывод, что изменение единицы x влияет на Y на определенное число.
Это ясно показывает связь, но когда заинтересованные стороны начинают задавать вопросы от того, как до почему. причинность становится решением, к которому нужно бежать.
3. Внимания гораздо больше, чем нам нужно ;)
Еще одна сверхспособность причинно-следственного вывода в машинном обучении заключается в том, что он обеспечивает лучшее понимание основных механизмов системы. Это позволяет специалистам по работе с данными делать более точные прогнозы и вмешиваться в систему для достижения желаемого результата.
В здравоохранении причинно-следственный вывод может использоваться для определения причинно-следственной связи между различными факторами, такими как образ жизни, генетика и окружающая среда, и риском определенных заболеваний. Затем эта информация может быть использована для разработки мероприятий, снижающих риск этих заболеваний.
По словам исследователя в исследовании под названием На пути к каузальному репрезентативному обучению, машинное обучение часто игнорирует информацию, которую люди активно используют.
В заключение, причинно-следственный вывод в машинном обучении — это мощный инструмент, который позволяет специалистам по обработке данных делать более точные прогнозы и понимать основные механизмы системы. Поскольку машинное обучение продолжает развиваться, причинно-следственный вывод будет играть все более важную роль в широком спектре приложений.
Дополнительная литература
Причинно-следственный вывод - Университет Карнеги дыни
Обзор причинно-следственной связи в машинном обучении — Эриксон
