# 8 — Непрерывный бенчмарк в проектах ML

Важность предоставления конкурентам возможности улучшить себя и продукт.

У проектов данных есть особенность, которая делает их очень мощными: решения об их развитии сильно основаны на метриках. Если наши ключевые показатели эффективности четко определены и мы не оставили A/B-тестирование в производстве столь сложным, чтобы стать частью нашего технического долга, теперь у нас есть четкий путь к сравнительному анализу и составлению этих решений с конкурентами. .

Развитые проекты машинного обучения снижают барьер для внедрения новых моделей обеспечивают конкуренцию между различными решениями. Предоставляя стимулы командам, которые создают модели, для продолжения инноваций и улучшения, мы, в свою очередь, вносим свой вклад в повышение конечной производительности системы. Кроме того, поскольку у нас есть четкие метрики, есть мгновенный механизм передачи информации о лучшей модели.

Поощрение этих конкурентных пространств имеет явные преимущества для бизнеса и может быть проще, чем кажется. Давайте рассмотрим некоторые идеи о том, как их генерировать:

  • Получение двух подходов, предложенных одной и той же командой, для конкуренции и измерения их в продакшене.
  • Поиск другой команды компании с опытом машинного обучения, которая может создать модель с использованием другого подхода.
  • Создание внутреннего челленджа (типа Kaggle) внутри компании с призами!
  • Создание общественного вызова, в котором может принять участие каждый (это не всегда так просто, особенно в отношении аспектов конфиденциальности данных).
  • Сравнительный анализ с внешней компанией, которая может сделать для нас модель.

Важно отметить, что, создавая эти пространства, мы оказываем положительное влияние не только на бизнес, но и на команду. Текущие задачи помогают избежать стагнации, создают стимулы к самосовершенствованию, удерживают нас от склонности «влюбляться» в наши решения и даже избегают определенной интеллектуальной летаргии или лени. Это то, что мы испытываем каждый день. Или нас не мотивирует соревноваться с талантливыми соперниками, чтобы подтолкнуть нас к совершенствованию?

Этот подход привел к улучшению бизнес-показателей и нас как профессионалов, а также к повышению капитализации компании. Это справедливо для различных типов проектов в жизни и в бизнесе в целом, но особенно применимо к проектам машинного обучения.

Теперь ваша очередь: пользуетесь ли вы этой возможностью?

Мы приближаемся к концу этой серии статей, впереди еще только две полетные проверки. Не отставайте и летайте безопасно!