Постановка задачи

У меня есть идея использовать графовую сеть. Как мне протестировать и запустить эту идею?

Каковы правильные шаги для внедрения инноваций в проекты данных?

Несколько недель назад: Я говорил о создании прототипов для успешной реализации ваших проектов.

Прототип будет проверять, убеждать и направлять ваши проекты данных в жизнь. - Винсент Татан

Хотя это правда, чтобы привести проект к успеху, этого недостаточно. Вам все еще нужно реализовать свою идею, чтобы добиться реального воздействия.

Но не волнуйтесь ... В этом письме я обещаю дать вам полную картину, чтобы уменьшить масштаб фазы прототипирования и сосредоточиться на инновационном рабочем процессе для запуска ваших проектов. Это основано на моем личном опыте и поможет организовать и собрать поддержку ваших экспериментов для запуска.

Рабочий процесс инновации данных

По моему опыту, инновации можно разделить на три этапа:

  • Концептуализация: формулируйте формулировки проблем и планы, чтобы не тратить слишком много времени на неудачные эксперименты.
  • Экспериментирование: прототипы экспериментов, чтобы получить обратную связь и одобрение для выработки новых идей и расстановки приоритетов.
  • Производство: запускайте приложения машинного обучения после прочной поддержки со стороны соответствующих заинтересованных сторон.

Давайте копать глубже один за другим!

Концептуализация

Документация по дизайну содержит концептуальные маяки, которыми можно руководствоваться в ваших проектах данных. Вы должны использовать это в начале, чтобы четко сформулировать вашу проблему.

Зачем вам нужны дизайнерские документы? Потому что преимущества многочисленны.

Документы по дизайну концептуально направляют вас на каждом этапе, чтобы понять ваши цели, влияние и выполнение на пользу заинтересованным сторонам. Это экономит ваше время на разработку, выделяя реализации и альтернативные решения перед их реализацией. Он проводит обсуждения между командами для поиска лучших решений и служит постоянным артефактом для закрепления ваших идей для будущего сотрудничества.

Вот несколько простых способов начать работу:

  1. Цели: Зачем вы это строите?
  2. Минимально жизнеспособный продукт. Что важно для вашей аудитории?
  3. Исследования и исследования: сколько времени и ресурсов доступны?
  4. Основные этапы и результаты: Что можно и чего удалось достичь?
  5. TL: DR (слишком долго не читал): Что в итоге?

Наличие предварительных проектных документов позволит выделить текущие пробелы в обнаружении и провести мозговой штурм для поиска потенциальных решений, прежде чем работать над ними.

Экспериментирование

1) прототипирование

Используя проектную документацию, мы затем создаем прототип методом проб и ошибок, если определенный подход работает. Есть много способов разработать прототип, но позвольте мне поделиться с вами некоторыми из них:

Веб-панель (самый простой вариант): вы можете создавать быстрые фрагменты данных и экспериментировать, а затем сохранять результаты в Google Big Query. После этого вы можете бесплатно запрашивать и отображать аналитические данные с помощью Google Data Studio.

Веб-приложение: вы можете и дальше использовать Heroku для быстрого развертывания ваших прототипов. Heroku - это широко используемая коммерческая платформа как программное обеспечение (PaaS), которая значительно упрощает профессионалам в области данных создание, управление и развертывание приложений различного масштаба. Это означает, что теперь вы можете сосредоточиться на разработке аналитических приложений без особых проблем с инфраструктурой развертывания. Heroku берет на себя всю тяжелую работу по развертыванию!

Все прототипы могут быть доставлены намного быстрее, поскольку вы можете скопировать и адаптировать код внешнего интерфейса и шаги развертывания.

2) Получение отзывов и подписание

Получение подписи от старших разработчиков / технических руководителей имеет решающее значение. Это вселяет в ваших коллег уверенность в сотрудничестве.

Это можно сделать, ответив на следующие контрольные вопросы:

  1. Ценность: Решаю ли я указанную мной проблему?
  2. Достоверность. Все ли предположения и оценки основаны на доказательствах?
  3. Сложность: как он взаимодействует с приложениями верхнего и нижнего уровня?
  4. Ясность. Вся ли информация написана с помощью KISS (Keep It Simple and Short)?
  5. Поддержка: Какая поддержка требуется для запуска этого приложения?

В большинстве случаев вам нужно будет повторять свои прототипы и формулировки проблем, пока вы не получите подтверждение, что вам нужно установить приоритеты в минимальном жизнеспособном продукте (MVP).

3) Приоритезация

Если проверенный прототип дает обещания и огромные преимущества вашим заинтересованным сторонам (например, высокоэффективная система обнаружения изображений), то мы хотим выделить больше ресурсов, таких как время и рабочая сила.

К сожалению, время и рабочая сила ограничены в реальных жизненных сценариях. В некоторых сценариях вы будете работать над 2, 3 или даже более проектами. Таким образом, вам нужно будет сообщить вашим заинтересованным сторонам следующие упражнения по приоритизации:

  1. Как это решение помещено в мои OKR (объективные ключевые результаты)?
  2. Сколько времени SWE (рабочей силы) я должен выделить для этого проекта?
  3. Какой минимальный жизнеспособный продукт (MVP) указывает на успех?

Наличие надежного документа по приоритизации поможет вам защитить приоритеты и ресурсы, которые вам понадобятся, если возникнут другие проекты данных.

Производство

После утверждения документа по приоритезации. У вас будет время и поддержка для запуска результатов эксперимента в производство.

Самый простой способ - запустить небольшой автоматизированный рабочий процесс на основе Python с помощью Планировщика заданий Windows. Это помогает вам управлять задачами в ответ на триггер, основанный на событии или времени. Например, вы можете предложить определенный щелчок и действия компьютера (например, перезагрузку) или даже указать время, например каждый первый день квартала для выполнения задачи.

Но если вы хотите развернуть масштабируемые проекты машинного обучения. Вам необходимо использовать операции машинного обучения (ML Ops), чтобы поддерживать, отслеживать и управлять ожидаемыми вами воздействиями. Google часто использует TFX для запуска, внедрения и аудита моделей машинного обучения.

Не забудьте оценить начатые результаты и вернуться к формулировкам задач. Это станет вашим рекордом успеха в инновациях и создаст новые возможности для карьерного роста в будущем.

Запускайте свои инновации, чтобы приносить реальные ценности.

Заключение: внедряйте инновации, чтобы оказывать реальное влияние

Важно реализовать свои идеи и оказать совместное влияние на карьерный рост путем:

  • Концептуализация: формулируйте формулировки проблем и планы, чтобы не тратить слишком много времени на неудачные эксперименты.
  • Экспериментирование: прототипы экспериментов, чтобы получить обратную связь и одобрение для выработки новых идей и расстановки приоритетов.
  • Производство: запускайте приложения машинного обучения после прочной поддержки со стороны соответствующих заинтересованных сторон.

Я надеюсь, что это поможет вам лучше понять инновации в сфере данных.

Соли део глория

об авторе

Винсент борется со злоупотреблениями в Интернете с помощью ML @ Google. Винсент использует передовую аналитику данных, машинное обучение и разработку программного обеспечения для защиты пользователей Chrome и Gmail.

Помимо работы в Google, Винсент также является выпускником магистратуры Технологического университета Джорджии, триатлонистом и ведущим автором журнала Towards Data Science Medium, который направляет начинающих практиков машинного обучения и данных с более чем 1 млн зрителей по всему миру.

Наконец, свяжитесь с Винсентом через LinkedIn, Medium или Youtube Channel.