Существует несколько типов скептицизма при работе с машинным обучением. Как бороться с (большинством) из них? В этой статье я делюсь своей точкой зрения, основанной на опыте, который я приобрел, работая на этой работе. Я надеюсь, что это будет полезно для многих.

"Я не доверяю результатам вывода, они нелогичны"

Недавно со мной случилось так, что бизнес-пользователи не согласились с результатами модели Marketing Mix, которую мы внедряли. Это была не неуверенность — совсем наоборот. Дело в том, что бизнес-опыт не соответствовал результатам модели. Это позволило нам выявить проблемы на этапе сбора и обработки необработанных входных данных, которые мы решили с легкостью. Однако факт обратил мое внимание на следующие моменты:

  • Было ли у нас достаточно встреч с владельцами данных, чтобы убедиться, что данные, которые они нам прислали, были правильными, полными и репрезентативными?
  • Нужны ли нам более частые дискуссионные встречи с бизнесом?
  • Были ли мы достаточно осторожны, чтобы изучить данные, или мы могли бы потратить больше времени на построение графиков и просмотр всех функций? Сроки реализации очень сжатые, но если бы мы потратили больше времени раньше…

"Я также ожидал прогноза по этим двум другим целям"

Это случалось со мной несколько раз. Иногда они пытались получить от нас больше. В других случаях цели не были поставлены четко: достаточно ли времени мы потратили на то, чтобы вовлечь и объяснить всем вовлеченным людям цели нашей работы? Если нет — в результате — мы потратили еще 15 минут, чтобы указать цели проекта и обосновать, почему результаты не соответствуют ожиданиям. И вновь завоевать их доверие, когда они ожидали большего.

Хорошо потратить время, необходимое для определения ожиданий рабочей группы и получения коллективной поддержки. Также важно, чтобы ведущий спонсор инициативы позаботился о том, чтобы все были согласованы.

"Производительность модели слишком низкая, мы не можем ее использовать"

Вечнозеленый. Данные или процесс не всегда позволяют достичь высоких показателей. См., например, проблемы с очень несбалансированными наборами данных (например, профилактическое обслуживание) или в которых явление непредсказуемо (например, прогнозы спроса на новые розничные продукты). Давать пользователям ложные ожидания или не разъяснять ограничения подхода может привести к разочарованию в моделях. Это не вопрос моделирования; речь идет о способности эффективно формировать ожидания в пределах возможностей, предоставляемых рассматриваемым явлением.

В этом случае также важно оценить, насколько точность и полнота влияют на экономику (ROI) проекта, зная обо всех дополнительных затратах и ​​выгодах по сравнению с эталонным базовым планом.

"Я не понимаю, как использовать эти выходные данные"

Интерпретируемость моделей — это тема, которая приобрела важность с более широкими моделями ML в процессах, где основополагающим фактором является действенность. Без надлежащего понимания того, как использовать или интерпретировать выходные данные модели, работа становится напрасной. Я мог бы предложить немало статей, посвященных объяснимому ИИ (XAI), вот парочка:

"Хорошая модель, но кто ею будет управлять?"

Однажды мы работали над моделью временных рядов, которая требовала прогнозирования 10 000 различных временных рядов, чтобы спрогнозировать ежемесячное закрытие прибылей и убытков компании. Как определить дрейф конкретной статьи затрат среди 10 000 всего? Как сохранить ансамбль моделей с течением времени? Кто наблюдает за эксплуатацией и обслуживанием после передачи, поскольку в этом процессе участвуют отдельные бизнес-подразделения, говорящие на разных языках?

Автоматизация процесса прогнозирования для менее релевантных элементов прибылей и убытков с помощью методов AutoML и создание более точных моделей Boosted/LSTM для наиболее важных элементов — хороший обходной путь. Однако необходимо осознавать, что модель без соответствующей стратегии обслуживания — это модель, которая вряд ли увидит свет.

«В прошлый раз, когда вы представили мне результаты, цифры были другими. Почему? “

Будьте осторожны, показывая промежуточные результаты бизнес-пользователям — действуйте шаг за шагом. Ни один человек, принимающий решения, не любит видеть 3 очень разных прогноза в 3 встречах подряд; на четвертом (если не раньше) могут начать спрашивать, чем обусловлены эти различия… и вам нужно будет это обосновать. Нетехническим людям не всегда легко объяснить, что существует естественный процесс настройки модели. Кто-то может потерять веру в команду или подход, развивая уверенность в том, что вы не можете создать стабильный продукт, отвечающий требованиям.

Задавать своевременные вопросы, чтобы получить своевременные ответы. Если бизнес-пользователи слишком много внимания уделяют цифрам (и это правильно), процесс обратной связи может быть рискованным.

Это несколько реальных примеров из моего опыта, они не претендуют на то, чтобы быть исчерпывающим списком всех проблем, возникающих при разработке и производстве модели машинного обучения. Я надеюсь, что они могут быть полезны для эффективной поддержки работы других.

Первоначально опубликовано на https://www.linkedin.com.