В этом посте, когда я использую термин «управление продуктами ИИ» (APM), я подразумеваю включение как ИИ, так и машинного обучения (что технически более точно). Я считаю, что AI PM играет ключевую роль и требует определенных навыков, суждений и опыта, которые имеют решающее значение для успеха продуктов и инициатив AI.

Как практикующий APM и организатор успешной встречи AI Meetup, я хотел поделиться полезными ресурсами, передовыми практиками и советами, с которыми я столкнулся и узнал из своего опыта. Приведенные здесь принципы и советы также полезны для руководителей проектов, менеджеров по программному обеспечению и для всех сотрудников, на которых вы принимаете решения для технологических команд. Я не трачу здесь время на разговоры об основах искусственного интеллекта, поскольку предполагаю, что у вас уже есть этот опыт. Однако в конце есть ссылки, если вы хотите узнать о ML или о роли PM.

Роль / звание менеджера по продукту появилась сравнительно недавно - я бы сказал, около 25 лет. AI Product Management ориентирован на использование AI, глубокого обучения и / или машинного обучения для улучшения, улучшения, создания и формирования продуктов. Управление продуктами искусственного интеллекта (APM), безусловно, появилась совсем недавно.

Недавний опрос лидеров мирового бизнеса показал, что 70% начали инициативы в области искусственного интеллекта. С распространением ИИ в бизнесе легко увидеть приложения для продуктов и услуг B2C и B2B: Google Search / Photos / Translate, Alexa, Amazon Рекомендации, Stitch Fix. Гнездо, автопилот Tesla. Машинное обучение (и данные) - это общая черта всех этих вещей. Конечно, за кулисами есть гораздо больше продуктов, работающих на ML.

По-прежнему существует огромный разрыв между организациями, которые правильно понимают ИИ, и теми, кто борется с внедрением ИИ (это большинство). Я считаю, что APM играют решающую роль в успехе инициатив в области ИИ. Как говорит Марти Кейган, за каждым успешным продуктом стоит менеджер по продукту, ответственный за его успех.

За каждым отличным продуктом искусственного интеллекта стоит менеджер по продукту или лидер, который руководил видением, помогал с данными, облегчал работу технологических групп, прислушивался к клиентам, проявлял сочувствие и стимулировал внедрение и рост на основе бизнес-показателей.

Начнем со ставок за столом. Отличное управление продуктами ИИ и лидерство (да, это два разных уровня!) Должны включать в себя принципы и лучшие практики технического управления продуктами и лидерства.

Для каждого круга на диаграмме Венна у вас есть определенные требования, например Пользовательский / клиентский опыт важен для всех цифровых продуктов, но он может проявляться по-разному для продуктов B2B AI / ML.

Как отмечается в этой статье HBR, жизненный цикл так называемого информационного продукта отражает стандартную разработку продукта: определение возможности удовлетворить основные потребности пользователя, создание начальной версии, повторение итераций. Конечно, APM - это НАМНОГО больше, потому что помимо сложности данных вам придется работать со сложной и итеративной природой моделей и процессов ИИ. В статье рекомендуется межфункциональное сотрудничество, а также оценка и приоритезация возможностей информационных продуктов с прицелом на долгосрочную перспективу.

Эндрю Нг представляет эту интересную концепцию «Добродетельного цикла ИИ» в своей статье «Преобразование ИИ», в которой продукты генерируют больше данных, которые помогают улучшить продукт.

«Отсутствуют налаженные рабочие процессы для менеджеров по продуктам, создающих приложения искусственного интеллекта для предприятий» - Эндрю Нг.

Каковы основные навыки и качества APM?

# 1 Твердое владение данными и технологиями моделирования - руководитель отдела ИИ должен иметь практический опыт или практические знания в области данных и моделей.

№2 Коммуникация. Менеджер по продукту - это «клей, который скрепляет все различные функции и роли в компании, говорящей на разных языках» - Кен Нортон, GV.

«Работа PM - это не только тяжелые навыки, но и другие навыки - убеждение, переговоры, рассказывание историй, определение видения и общение». - анонимный

# 3 Подготовка материала: вызов, содействие и выполнение. Менеджер по продукту ИИ должен следить за любыми пробелами, например, одна из ключевых задач APM - создавать специальные наборы тестов, которые фиксируют атрибуты продукта.

Хорошие менеджеры по продукту четко определяют цель,« что (в отличие от того, как) и управляют доставкой что . - Бен Горовиц (Хороший менеджер по продукту, плохой менеджер по продукту)

Этапы управления продуктом

Рассмотрим три ключевых этапа любого продукта и то, как он меняется, когда задействован AI / ML.

1) Начало: на этом этапе мы решаем, что делать? Почему? Умные менеджеры по продукту объединяют данные, анализ и суждения. Задайте правильные вопросы. Имейте достаточно глубины, чтобы отфильтровать шум и сосредоточиться на достойных POC, а не на научных экспериментах, прихотях руководителей или выдвижении желаемого за действительное, которые не имеют данных или возможности масштабирования. Менеджеры по ИИ гарантируют, что контактные лица ИИ должны соответствовать реальности организации.

Работа менеджера по продукту - найти / создать ценный, удобный и осуществимый продукт - Марти Кейган

Скажите «нет», если ML не подходит (составьте контрольный список). Или решите, сколько машинного обучения использовать с другими подходами, такими как правила и т. Д. Для всех остальных расставьте приоритеты и управляйте конвейером!

Примеры того, когда не следует использовать ИИ:

  • См. Это видео, в котором перечислены несколько распространенных сценариев, таких как: когда вам нужна 100% точность, когда у вас недостаточно данных, когда у вас нет качественных данных и т. Д. Остерегайтесь предвзятых данных или когда вариант использования может дискриминировать определенную группу и т. д.
  • В недавней статье WSJ были указаны недостатки в том, как Amazon маркирует определенные продукты как «Выбор Amazon» с помощью машинного обучения.

Выбор Amazon не является гарантией качества. Amazon не тестирует эти продукты; он венчает их, используя алгоритм, который учитывает различные факторы, включая популярность, скорость доставки, цену и многое другое. Эксперты говорят, что продавцы начали придумывать способы манипулирования алгоритмом.

2) Развитие: имеет значение организационная структура. Понимать и согласовывать структуру организации, роли - за и против. Грамотность данных, глубина предметной области и доверие компьютерных фанатов - все это очень важно. Привлекайте нужные малые и средние предприятия на разных этапах, APM - это клей, который скрепляет все элементы ИИ! Скорость и частота улучшений имеют значение! Будьте ловкими, умными. POC важны как никогда. Создайте серию MVP с облегченными моделями, покупайте / занимайте данные по мере необходимости.

3) Коммерциализация: как вы будете производить продукт? у вас есть нужные люди, процессы и инструменты? как вы будете постоянно следить за производительностью и улучшать продукт?

Ключевые выводы для менеджеров по ИИ:

  1. Верьте в необоснованную эффективность (и критическую важность) данных. Убедитесь, что у вас есть нужные данные для правильной цели. Инвестируйте в приобретение и поддержание наборов стратегических данных - они часто являются источником конкурентной дифференциации, в большей степени, чем модели. Как назвал это Эндрю Нг: Наборы данных - это новый каркас (AI)!
  2. Будьте эффективным переводчиком - с одной стороны, техническая глубина (Sisk называет это Nerd Cred), с другой стороны, вам нужно упростить и удалить жаргон - рис. 2 Атлас. Текущая волна искусственного интеллекта / машинного обучения относительно нова и подвержена шумихе, быстрым изменениям, недостаткам качественных специалистов и путанице из-за множества поставщиков и инструментов, которые врываются в нее. Быть лидером, который может связать технологический бизнес, машинное обучение. ИТ, финансы - все остальные пробелы!
  3. Управляйте ожиданиями и заинтересованными сторонами. Неопределенность для продуктов AI высока. Шансы на неудачу выше, чем у обычного программного проекта) - нужны усилия, чтобы действительно знать, насколько хороша будет модель. Всегда не забывайте думать об заинтересованных сторонах и помнить ключевой вопрос: что от этого для них? серия MVP: легкие модели, данные о покупке / займе, сужение предметной области, рука = курирование
  4. Сочувствие к клиенту / пользователю - смотрите на конфиденциальность с сочувствием - исследуйте новые решения, такие как дифференцированная конфиденциальность - что потребуется для принятия? Ориентированная на пользователя / человека система для измерения ошибок
  5. Снижение рисков и повышение доверия - в некоторых организациях может быть специальный персонал для борьбы с рисками, но в большинстве случаев этого не происходит. Как APM, вы решаете проблемы предвзятости, справедливости и конфиденциальности. APM также должен обеспечивать объяснимость. Убедитесь, что вы доверяете своему продукту!
  6. Тщательно проповедуйте - разумность алгоритма в сравнении с тем, какую разумную ценность он принесет, как вы будете ее измерять, например ложно положительный. Как вы измеряете ценность? Как это изменит поведение? думайте на несколько шагов вперед - например, будет смахивать слишком много?
  7. Процесс / жизненный цикл / дизайн важны, инженер КАЙДЗЕН с самого начала. Определите ключевые бизнес-метрики (KPI) и способы их преобразования в метрики моделирования. Следите за Agile-разработкой (особенно хорошо подходит для продуктов и систем на основе ИИ, где это важно), вовлекайте пользователей на ранних этапах цикла разработки, чтобы помочь тестировать, дорабатывать и улучшать функции ИИ в продукте, делясь своими отзывами в реальном времени. с командами разработчиков. с приложениями на базе искусственного интеллекта процесс тестирования должен коренным образом измениться. Оптимизация алгоритмов требует, чтобы они были протестированы множеством пользователей, чтобы убедиться, что они работают в самых разных сценариях ».

Задача менеджера по работе с клиентами - создать специальные наборы тестов, которые фиксируют атрибуты продукта - (из подкаста Лекса Фридмана по искусственному интеллекту с помощью Spotify Product Manager)

В дополнение к основным выводам, вот еще несколько советов и рекомендаций, которые я почерпнул из разных источников и на собственном опыте. Вот еще несколько советов и рекомендаций для APM:

  • Вам нужен другой подход к стратегии и планированию ИИ - более предварительная работа и исследование данных для выявления и проверки возможности (требуется исследование данных)
  • Не стоит недооценивать важность общего видения, понимания и эффективных коммуникаций для достижения этой цели. Инициативы ИИ работают лучше всего, когда несколько команд координируют работу (уменьшают трение), развивают общее понимание и работают с разными субкультурами. Объедините разные роли, чтобы узнать друг о друге, сделайте технических специалистов по работе с данными «евангелистами» ... обеспечьте прямой доступ
  • Слишком много данных может перегрузить и сделать инициативу слишком сложной - Показывать, а не рассказывать - Продукты данных имеют свои уникальные особенности - управление данными и управление им существуют уже некоторое время, но им приходится иметь дело с устаревшими активами, а также с 3V новыми данными
  • Текущий цикл - как будет развиваться продукт с течением времени? вверх или вниз? кто отслеживает и монетизирует собираемые данные? как со временем улучшить ситуацию? пример: данные о результатах. Оценка? с какой скоростью органически улучшается продукт в результате сбора данных? продукт с скучными показателями сегодня, возможно, заслуживает сохранения. Скорость и характер итерации - откуда? отзывы пользователей? автоматический? как вы будете тестировать и развертывать варианты модели?
  • Лидерство продукта - APM должны учитывать стиль и стадию продукта, культуру компании, среду продукта и создавать команды, которые хорошо работают вместе - используйте свое суждение о том, какой процесс использовать, уметь переключать контекст (назад и вперед с представления 10 000 футов на 2 ввиду)

Последняя мысль:

Успех зависит от способности компании создать« прочную цифровую основу , доказанной способности включать технологии и таланты в бизнес-процессы, а также от постоянного обучения, которое приходит благодаря близости к пользователям и рынкам». - Ирвинг Бергер, WSJ

Примечания и ссылки:

== Ресурсы по ML для менеджеров ==

** Ресурсы Gen PM **