Как наш отдел Data Science выбирает, что исследовать
Одна из самых больших проблем в организации Data Science - это определение и приоритезация наиболее многообещающих направлений. Вот как мы создаем список невыполненных заказов и делаем ставки.
В Riskified у нас есть чрезвычайно способный отдел исследований и анализа данных, в который входят более 30 специалистов по обработке данных и аналитиков. Как быстрорастущий стартап, мы применяем практический подход, измеряя себя на основе фактической ценности бизнеса, предоставляемой каждый квартал, и того, насколько эффективно мы интерпретируем данные (подробнее об этом в моей предыдущей статье). Мы используем методологию Agile и нашу собственную адаптацию Scrum, чтобы все двигалось в быстром темпе. Кроме того, большая часть нашей команды выросла в области мошенничества, и мы хорошо разбираемся в бизнесе. Это означает, что большая часть нашей ежеквартальной плановой работы определяется внутренними исследовательскими инициативами, меньшая часть которых исходит от заинтересованных сторон из других отделов.
Одна из самых больших проблем в любом квартальном плане - это определение и выбор наиболее многообещающих направлений исследований. Хотя мы не можем сказать, что мы все это выяснили, в этом блоге мы попытаемся пролить свет на компромиссы, которые мы рассматриваем, и способы решения этой проблемы.
Наша структура
Отдел обработки данных состоит из нескольких команд, половина из которых ориентирована на продукт, а другая половина - централизованные группы инфраструктуры и платформы. Команды, ориентированные на продукт, помогают нам выделять ресурсы на новые многообещающие продукты на самых ранних этапах их жизненного цикла. Каждая команда напрямую влияет на конкретный продукт (с его набором KPI) или вносит свой вклад в конкретный компонент нашего флагманского продукта - решения для гарантии возврата платежей. Это разделение между решениями с гарантией возврата платежей происходит по компонентам науки о данных, так что одна команда владеет алгоритмами маркировки, выборки и основными алгоритмами, другая группа занимается продвинутым проектированием функций, другая - оптимизацией внешних источников данных и т. Д. Наиболее важным аспектом является то, что у каждой команды есть KPI для отслеживания своего прогресса, и вклад этих KPI можно сравнивать между командами.
Процесс планирования
На высоком уровне мы следуем подходу дизайн-мышления дивергентного мышления (мозговой штурм), за которым следует конвергентное мышление (выбор вариантов).
Мы начинаем с создания значительного списка потенциальных направлений исследований, который может включать:
- Соответствующая литература, с которой мы сталкиваемся, генерирует интересные идеи.
- Конференции и встречи
- Продолжение / доработка исследуемых задач
- Задачи, вытекающие из нашего годового плана (который создается с помощью аналогичного, но гораздо более строгого и подробного процесса)
- Инфраструктура и другие методы сокращения нашего технического долга
Во время этих мозговых штурмов мы стараемся придумать как можно больше потенциальных идей, опираясь друг на друга. Все приходят к этим встречам подготовленными, и обсуждение предложенных концепций обычно помогает генерировать новые идеи на лету. Всем предлагается предлагать идеи и направления исследований, независимо от их уровня опыта. Обычно это отличное место, чтобы стать свидетелем разнообразия мыслей и преимущества наличия специалистов по анализу данных, которые имеют разное происхождение.
В конце этого пункта мы добавляем немного большей строгости и формализуем задачу - какова фактическая работа, и первый черновик определения выполненной работы (DoD). Мы завершаем эту сессию голосованием каждого члена команды за все соответствующие задачи (это делается индивидуально, без обсуждения). После сравнения всех голосов мы ищем любые случаи больших расхождений между голосами и обсуждаем эти задачи - обычно это происходит из-за недопонимания между членами команды по поводу исследования и / или фактической потенциальной ценности. Если необходимо, мы можем провести еще одно голосование после этих разъяснений и, наконец, составить список приоритетных направлений исследований. Хотя этот интуитивно понятный метод Delphi может хорошо работать, мы также запускаем эти списки руководителями (руководителями групп и начальниками отдела) для получения их отзывов. Оглядываясь назад на мозговой штурм, проведенный в мае 2019 года для руководства работой в третьем квартале, мы завершили 6 из 10 приоритетных направлений исследований, предложенных командой в последующие месяцы (на этой сессии поднималось вопрос о тестировании новых алгоритмов повышения).
Хотя исходный список идей, оцененных командой, может быть отличным началом, есть несколько дополнительных соображений и эвристик, используемых при оценке окончательного приоритета исследовательского проекта.
Соображения при окончательной расстановке приоритетов
Хотя в следующем списке нет ранжирования, каждый пункт добавляет свой взгляд на то, как мы оцениваем приоритетность проекта. Мы не поддерживаем явную весовую функцию для каждой точки, и эти неявные веса будут меняться в зависимости от бизнес-условий. Несмотря на то, что в процессе определения приоритетов уделяется много внимания, мы стремимся предоставить самим командам максимальную автономию. Разница между исходным списком, над которым, по мнению группы, должна работать, и окончательной версией, обычно очень небольшая - 10–20% работы могут быть изменены по приоритетам из-за соображений, изложенных ниже. Всегда лучше иметь хороший план, который дает команде сильное чувство сопричастности, чем отличный план, который кажется продиктованным сверху.
- Исторические проекты в той же области
В группе риска мы разработали таксономию исследовательских направлений. К ним относятся различные семейства функций (наши функции связывания, функции динамических временных рядов, поведенческие и другие), а также треки в области науки о данных - методология выборки, очистка этикеток, изменения основного алгоритма, неконтролируемые алгоритмы. Прежде чем начать крупный исследовательский проект, посвященный нашей методологии выборки, мы рассмотрим историю исследований в той же области. Хотя предыдущая работа никогда не предскажет потенциальный успех предстоящих задач, наблюдение за исторически высоким уровнем успеха может быть хорошим индикатором более неиспользованного потенциала. - Что работает в мире
Читая о других отраслях, которые борются с долгим сроком созревания (возвратные платежи могут возвращаться через несколько недель), грязные ярлыки (мы не знаем истинного ярлыка отклоненного порядок) и несбалансированные данные, мы смотрим, что работает хорошо, а что нет. Хотя мы не можем быть уверены, что сходство является достаточно сильным для нашей области, использование одних и тех же методов в нескольких сценариях использования со схожими основными проблемами является отличным признаком того, что они могут быть полезны и для нас. - Текущее состояние дел
Как и любая настоящая гибкая организация, мы стремимся сократить объем незавершенной работы (WIP). Это означает, что мы не хотим распыляться на десятки незавершенных исследовательских проектов, которые в ближайшее время не принесут пользы. Мы предпочитаем завершить все, что возможно, прийти к выводу, ценно это или нет, и отложить это в постель, прежде чем перейти к следующему. Даже если есть очень интересное направление, мы не хотим начинать его, если наша текущая НЗП слишком высока. Хотя более высокий WIP кажется безобидным, ценность WIP быстро падает (актуальны ли результаты? Возможно, изменилась популяция? Может ли проблема быть решена из-за других изменений в системе?), И ваши люди забывают наполовину, не полностью -документированная работа. Если специалисты по обработке данных начнут новую задачу до завершения предыдущей, фактическая доставка может резко замедлиться. - Возможности внедрения
Мы тесно сотрудничаем с нашей командой разработчиков, чтобы обеспечить возможность применения результатов наших исследований в наших производственных системах. Хотя некоторые исследования не будут иметь никаких последствий для развития (например, изменение нашей методологии выборки), внесение существенных изменений в наш механизм принятия решений в реальном времени может оказаться серьезным мероприятием. Мы хотим минимизировать время реализации, так как именно тогда начинается создание ценности. В некоторых случаях, например, когда реализация зависит от инфраструктуры, мы можем отложить исследование, чтобы приблизиться к предпосылкам разработки. - Готовность к плану
Даже в начале исследовательской работы важно составить мысленную модель того, как, вероятно, пойдет исследование. Вы хотите иметь возможность изобразить дерево решений с разными направлениями, выбранными в зависимости от того, как будет развиваться исследование. Хотя углубляться на 4–5 уровней непрактично, определенно полезно пройти первые 2–3 уровня и убедиться, что мы можем определить точки принятия решений и DoD. Мы не хотим давать зеленый свет слишком открытым проектам или фокусироваться на изучении какой-либо области без учета возможного финального этапа игры. - Ценность против риска
Хотя в идеале мы хотели бы иметь как можно больше ценных проектов с низким уровнем риска, такое случается редко. Как правило, существует компромисс между потенциальной ценностью новой идеи и вероятностью ее реального успеха.
Хотя мы определенно хотим взять на себя как можно больше проектов с низким уровнем риска и высокой стоимостью (низко висящие плоды), большинство проектов упадет где-то в желтые квадранты (лунные выстрелы или безопасные ставки). Лучшие идеи обычно предполагают более радикальные изменения и сопряжены с повышенным риском. Высокая стоимость, высокий риск обычно также имеют более длительный временной горизонт. Хотя наша основная цель - сократить незавершенное производство и как можно скорее повысить ценность, это могло бы создать стимул для того, чтобы уклоняться от лунных выстрелов. Потенциальная проблема заключается в том, что вы в конечном итоге ограничите свои долгосрочные улучшения. Чтобы быть уверенным, что мы не слишком сосредоточены на краткосрочных проектах, мы должны быть уверены, что создадим устойчивый конвейер долгосрочных будущих улучшений. Это означает выборку из обеих желтых областей, чтобы убедиться, что мы также выберем несколько исследовательских проектов с высоким потенциалом, высоким риском и долгосрочными инициативами, которые, как ожидается, принесут плоды более чем через шесть месяцев (включая реализацию). Чрезмерное внимание к краткосрочным проектам может принести прибыль сейчас, но навредит нам (и нашим клиентам) в долгосрочной перспективе. Поддержание портфеля краткосрочных / незначительных рисков наряду с долгосрочными / высокорисковыми / дорогостоящими проектами имеет решающее значение для долгосрочного успеха.
Что мы не принимаем во внимание?
- Новизна
Мы полностью руководствуемся ценностями, которые мы даем нашим клиентам, а это означает более точные модели. Мы не принимаем новейшие технологии или алгоритмы автоматически только потому, что они новые. Мы бы предпочли быть быстрыми последователями и позволить другим продемонстрировать, какие технологии никуда не денутся. Это также означает, что на данный момент мы не сосредотачиваемся на научных публикациях - хотя мы очень уважаем публикующихся людей, это не позволит нам приносить пользу нашим клиентам. - Проекты как основная движущая сила личного развития
В группе риска мы инициировали постоянные продвинутые направления в области науки о данных, ориентированные на личностное развитие наших сотрудников, которое гарантирует, что они будут продолжать осваивать новые технические навыки. Мы также поощряем наших специалистов по обработке данных представлять свою работу другим сотрудникам отдела, на собраниях и писать технические блоги. Наконец, мы часто посещаем профессиональные конференции, чтобы оставаться в курсе. Мы хотим, чтобы наши специалисты по данным постоянно росли и развивались, а не полагались на свои повседневные проекты как на главный двигатель своего личного развития (иногда это работает, но вы не хотите на это рассчитывать). При таком подходе мы с осторожностью относимся к выбору проектов из-за их влияния на личное развитие. Хотя некоторые проекты могут быть прекрасной возможностью для специалистов по обработке данных углубить свои знания в новой области, мы изначально не рассматриваем это как повод для исследовательского проекта. Мы пересмотрим это решение, если окончательный список проектов не предложит адекватных возможностей для личного развития для определенных людей.
Как и в любой быстрорастущей и динамичной компании, у вас должно быть гораздо больше ценных проектов, чем вы сможете сделать. Процесс определения приоритетов может быть сложным и, если он выполнен правильно, должен вызвать здоровые дебаты. Надеюсь, эта статья проливает свет на то, как мы расставляем приоритеты в наших исследованиях, и может помочь вам расставить приоритеты в своих исследованиях.
