Продукты, основанные на машинном обучении, появляются как грибы после дождя. В результате все больше менеджеров по продукту, вероятно, столкнутся с алгоритмами машинного обучения в своей карьере. Фактически, если вы читаете это, вы, вероятно, подпадаете под одну из двух категорий: либо вы уже работаете с алгоритмами машинного обучения, либо вы будете работать с алгоритмами машинного обучения в будущем.
Но как влияет машинное обучение на нашу работу в качестве менеджеров по продукту? Есть ли что-то отличное в том, чтобы быть менеджером по продукту ML по сравнению с любым другим продуктом? Что должны знать менеджеры по продуктам об этих алгоритмах?
Вот 5 советов о том, как лучше управлять продуктом машинного обучения, основанные на моем опыте работы с алгоритмами машинного обучения:
- Придерживайтесь процесса, а не результатов. Представьте себе главу лаборатории клинических исследований, которая говорит своим исследователям: «Мы найдем лекарство от рака к концу второго квартала, а затем в третьем квартале». мы собираемся пройти клинические испытания и в 4 квартале мы получим одобрение FDA ». маловероятно, правда?
Я не говорю, что машинное обучение похоже на лечение рака, но машинное обучение немного похоже на исследовательскую работу - трудно предсказать, когда произойдет прорыв. В большинстве областей управления продуктом вы пишете свою спецификацию, проходите подготовку в отделе исследований и разработок и получаете оценку трудозатрат (например, в дни разработки или размер футболки). Однако машинному обучению присуща непредсказуемость, из-за которой трудно определить, когда будет завершена разработка. Если вы новичок в машинном обучении, у вас может возникнуть соблазн слишком рано посвятить бизнес и руководство результатам. Вместо этого я предлагаю вам взять на себя обязательство по процессу и установить ожидания со своим руководством в том, как вы рассказываете о своем продукте. Например, вместо того, чтобы сказать «мы разработаем алгоритм машинного обучения в первом квартале, который выполняет X, затем во втором квартале мы начнем бета-тестирование с 5 клиентами», вы можете сказать: «в первом квартале мы протестируем алгоритмический подход A. Если тест пройдет успешно, мы во втором квартале перейдет к тестированию с 5 клиентами. Если тест не пройдет, мы протестируем алгоритмический подход B во втором квартале ». Это называется сценарным планированием. Когда вы начинаете говорить таким образом, вы сигнализируете заинтересованным сторонам своего бизнеса, что имеете дело со сложным процессом, который трудно предсказать. Также вы устанавливаете ожидания, что, если эксперимент не удастся, это не неудача - это хорошо! требуется много неудач, чтобы опровергнуть гипотезы, пока вы не доберетесь до правильной. - Установите глупый тест - при этом участие в процессе поможет вам установить ожидания, но не поможет вам в достижении цели. Следующие 3 совета могут помочь вам ускорить разработку продукта машинного обучения и добиться лучших результатов.
Итак, допустим, вы начали разработку алгоритма машинного обучения в своей компании. Поздравляю! Прошел месяц с тех пор, как разработчики алгоритмов приступили к работе над проектом: вы знаете, какой прогресс был достигнут? Прошло два месяца, новые модели проходят испытания и в них учитываются новые сигналы. Теперь вы можете сказать, какого прогресса удалось достичь? Если вы не хотите оставаться в неведении относительно прогресса вашего продукта машинного обучения, я предлагаю вам постоянно сравнивать его с тупым тестом.
Тупой тест - наивное решение. Это может быть простое правило, случайный набор данных или подбрасывание монеты.
Есть известная басня о правительстве, которое потратило миллионы долларов на создание спутника для прогнозирования погоды. Когда они, наконец, закончили работу после нескольких лет разработки, они обнаружили, что спутник может предсказывать погоду на завтра с точностью 80%. «Неплохо, - думали все. Но затем они выяснили, что если бы они просто предсказали, что завтра погода будет такой же, как сегодня, предсказание будет также на 80% точным. Вы всегда должны сравнивать боевой дух этой истории с простым «тупым» решением. Звучит банально, но очень полезно. Если вы сделаете это, вы получите две вещи; Сначала вы можете обнаружить, что глупое решение достаточно хорошо. Если бы все, что нужно этому правительству, было 80% точности прогнозов, то они могли бы сэкономить миллионы долларов и сэкономить годы развития. Однако, даже если это не так, вы получаете мощный инструмент для оценки прогресса разработки вашего алгоритма, постоянно проверяя алгоритм машинного обучения против наивного алгоритма. - Будьте очень точными при выборе KPI - предположим, что ваш KPI действительно на 80% соответствует прогнозу погоды на завтра. Теперь вы начинаете тестировать свою модель и обнаруживаете, что в северной части страны точность составляет 83%, а на юге - 74%. Успех? предположим, что вы были точны на 89% в апреле, августе и ноябре, но на 75% в остальное время года. Успех? а что, если вы лучше прогнозируете повышение температуры, чем ее снижение, - это успех? Может быть, вы хотели бы посоветоваться с другими людьми в компании о том, как интерпретировать результаты? может вам нужен дополнительный анализ? может тебе нужно попасть в тихую комнату и подумать над этим. В любом случае время тратится зря, и у вас не так много свободного времени. Я пытаюсь сказать, что вы должны заранее обдумать все возможные результаты и как можно точнее определить успех.
Всегда полезно указывать конкретные ключевые показатели эффективности, но поскольку проекты машинного обучения имеют естественную тенденцию отнимать время и не уложиться в сроки, не стоит тратить дополнительное время на попытки понять, что делать дальше. - Засучите рукава, знайте свой алгоритм - вы можете подумать, что, поскольку у вас нет докторской степени по математике или информатике, вам не нужно знать, как работает алгоритм, или что вы не знаете. Мне нечему научить разработчиков алгоритмов.
Ну ... ты ошибаешься. большое время.
Если вы не будете вовлечены в понимание того, что на самом деле делает алгоритм, разработчики алгоритмов могут решить математическую задачу, но не бизнес-задачу.
Вы - менеджер по продукту, понимаете потребности клиента, понимаете бизнес-среду. Ваша задача - помочь сформировать алгоритм, установив ограничения продукта и определив, для чего оптимизировать.
Но как глубоко погрузиться в сложный алгоритм, не имея докторской степени по математике? Для этого я предлагаю подход черного ящика (также известный как подход ввода / вывода): если вы пытаетесь понять сложный алгоритм, попробуйте вместо этого сосредоточиться на понимании того, что такое входы и выходы, и сохраните алгоритм как черный ящик. В большинстве случаев, если вы хорошо понимаете, какие все сигналы поступают в ваш алгоритм машинного обучения и что из этого выходит, этого будет достаточно, чтобы начать добавлять ценность и направить развитие в правильном направлении. - Проявляйте сочувствие к беспокойству своих клиентов. Алгоритмы машинного обучения обычно имитируют или заменяют человеческие решения. Однако большинству людей трудно доверять машине при принятии решений за них. Особенно, когда эти решения как-то связаны с деньгами. Вы бы доверились алгоритму, который будет принимать решения об инвестировании за вас с вашими пенсионными фондами? Вы бы доверились алгоритму, который автоматически подберет для вас отель для следующего отпуска? Вы бы почувствовали легкое беспокойство, если бы машина приняла это решение за вас? Думаю, большинство людей скажут «да» ... Когда вы разрабатываете продукт машинного обучения, примите во внимание, что это может заставить ваших клиентов немного нервничать, а лучший способ уменьшить беспокойство - вернуть чувство контроля. Сделайте то же самое со своим продуктом - подумайте о параметре в алгоритме, который вы можете экстернализовать и превратить в рычаг, который клиент может потянуть. В качестве альтернативы предложите клиенту способ отменить решение, принятое алгоритмом. Или даже просто объясните пользователю, почему алгоритм принял конкретное решение. Вот несколько примеров, которые мне особенно нравятся:
- Netflix объясняет вам, почему они рекомендуют вам конкретный фильм, потому что вы смотрели нечто подобное.
- Waze позволяет вам найти альтернативный маршрут, если вас не устраивает выбранный ими маршрут.
- Moovit позволяет вам выбирать между наименьшим количеством пеших прогулок или наименьшим количеством пересадок.
Честно говоря, большинство из приведенных выше советов могут быть применимы к любому продукту, а не только к ML. Однако я обнаружил, что они особенно полезны, когда ваш продукт включает машинное обучение.
У вас есть еще несколько советов о том, как лучше управлять продуктами ML? Если да, поделитесь ими в комментариях ниже.
Это сообщение в блоге основано на моем выступлении на ProductX 2019 в Тель-Авивском университете. Видео доступно здесь (только на иврите)
Если вам понравился этот пост, вам также может понравиться:
Свяжитесь со мной в LinkedIn:
