Часы работы, Советы начинающим специалистам по данным
Несомненная важность проектной документации для специалистов по данным
Создание концептуального маяка с четкими целями и коммуникациями
Постановка задачи
Как мне убедиться, что мой проект данных успешен?
Как я могу сообщить и ощутить влияние на моих заинтересованных сторон?
Я видел, как многие начинающие специалисты по данным и стартапы в области искусственного интеллекта приступили к своим новым проектам, чтобы сосредоточиться на инновационных алгоритмах глубокого обучения без учета надлежащего модульного тестирования и фундаментальных практик работоспособности кода.
Хотя иногда окупается быстрое погружение в свой проект. В большинстве случаев это приводит к кодам, которые никто не использует. Приложения, получившие мгновенный успех, но не выдержавшие испытания временем.
Моя самая большая ошибка
Представим, что вы получили новый проект. Поняв проблему, вы перешли к коду, надеясь быстро решить ваш проект.
Но позже вы поняли, что внесли много ошибок; пакеты с открытым исходным кодом были сломаны, сбои в работе из-за размера, повторение экспериментов из-за отсутствия технической документации. В отчаянии вы потратили недели на устранение неполадок.
Когда вы закончили, вы поняли, что ваша недавно построенная модель слишком сложна для поддержки инженерной группы. Разочарованный, вы потратили всю ночь на реализацию простой модели, которой хватило для команды.
- Из опыта автора -
Я мог бы сэкономить дни, если бы поделился своими целями с руководителями проекта раньше.
Общение с общим пониманием проблемы важнее, чем решение самой проблемы. Понимание того, что важно, может стать преградой для успешных проектов.
В противном случае последствия могут быть ужасными.
История Netflix Shiny Stone стоимостью 1 миллион долларов
Netflix наградил 1 млн долларов команде-победителю, которая улучшила среднеквадратическую ошибку рекомендаций Netflix (RMSE) примерно на 10%. Но Netflix не удалось внедрить, потому что алгоритм слишком сложен для поддержки!
Этого бы не произошло, если бы существовали общие цели и единая коммуникация с принимающей командой инженеров о цели конкурса.
Следовательно, почему дизайн-документация важна!
Почему важно оформление проектной документации
Документы по дизайну - это маяки.
Маяк сигнализирует о цели.
Каждой садящейся лодке нужен маяк, чтобы плавать по морю в темноте.
Бурные волны могут отвлечь лодку от объезда. Но с маяком у каждого капитана есть возможность направить лодку к месту назначения.
Точно так же каждый проект по науке о данных похож на путешествие в концептуальной тьме. Вы можете построить свой анализ и повторить свои усилия в рамках проекта. Но без общих целей и направлений (например, маяка) вы никогда не добьетесь реального результата.
Документация по дизайну широко используется в культуре, ориентированной на инженерное дело, такой как Amazon и Google. Он предназначен для обмена идеями, прогрессом и результатами по всем инициативам, чтобы выделить общие цели и результаты.
Он также служит путеводной звездой, чтобы поделиться знаниями, чтобы другие могли понять и развить проекты для удовлетворения своих потребностей. Следовательно, это важный навык для закрепления вашего большого вклада в вашу команду.
Таким образом, создание проектной документации формирует концептуальный маяк, позволяющий понять, как следует преодолевать близорукость, устранять потери времени и обеспечивать совместные воздействия.
Как создавать проектные документы
- Цели: Зачем вы это строите?
- Минимально жизнеспособный продукт. Что важно для вашей аудитории?
- Исследования и исследования. Сколько времени и ресурсов у вас есть?
- Основные этапы и результаты: Что можно и чего удалось достичь?
- TL: DR (слишком долго не читал): Что в итоге?
В качестве образца вы можете изучить этот проектный документ, чтобы очистить и проанализировать данные Instagram Yayasan Merajut Hati (YMH) *.
Примечание. Я являюсь волонтером в Яясан Мераджут Хати (YMH), некоммерческой организации, целью которой является повышение осведомленности индонезийской молодежи о психическом здоровье во время пандемии. Это проекты, которые я создаю для YMH.
* Самая быстрая аналитика для построения вашего бизнеса в Instagram
Цели
Зачем вы это строите?
Цели - это основа любого проекта. Это главная причина, по которой компания преуспевает, а другие - нет.
У самых успешных компаний есть четкие и прямые цели.
- Google: систематизируйте мировую информацию и сделайте ее общедоступной и полезной.
- Facebook: дайте людям возможность создавать сообщества и сближать мир
- AirBnB: создайте мир, в котором каждый может принадлежать чему угодно, и сконцентрируйтесь на создании комплексной платформы для путешествий, которая справится с любой частью вашего путешествия.
Точно так же ваша цель должна быть ясной и лаконичной с точки зрения желаемого воздействия.
Примеры включают:
- Для извлечения высококачественных данных из Instagram исключительно для YMH Marketing Needs.
- Построить систему рекомендаций по курсам для студентов.
Минимально жизнеспособный продукт
Что важно для вашей аудитории?
Минимальный жизнеспособный продукт (MVP) определяет основную ценность вашего проекта. Это Полярная звезда, на которую вы полагаетесь, чтобы определить успешность вашего проекта.
MVP показывает подробные описания, например:
- [YMH] Для создания возможностей Instagram, способных отвечать следующим бизнес-направлениям и показателям. Направленность бизнеса и показатели включают…
- Создавать рекомендательные системы, в которых пользователи могут входить в систему, покупать и увеличивать продажи на XX% по сравнению со старыми моделями (тестирование AB).
MVP должен быть реалистичным, а не идеалистическим. Он должен быть скорее консервативным, чем амбициозным. Если ничего не помогает, знание того, что вы достигли своего MVP, станет огромным достижением.
Затем вы можете продолжить итерацию проекта для достижения ваших сложных целей.
Примечание. Это требует обратной связи и частого общения с заинтересованными сторонами, которые собираются использовать и поддерживать этот проект. Когда у вас есть общий MVP, вы можете смело заявлять об успехе, если ваш проект его достигает.
Исследования и исследования
Какое время и ресурсы доступны?
Исследования и исследования определяют методы, доступные для создания вашего MVP.
Для этого требуется открытый мозговой штурм, который включает:
- Какие инструменты вы собираетесь использовать? Почему?
- Сколько времени вы отводите на это?
- [Для проекта ML] Каким исследовательским анализом данных (EDA) вы занимаетесь? Почему это важно? Какие модели строить? Почему?
Быстрое исследование и изучение позволит вам быстро переключаться между решениями, когда ваше решение не соответствует требованиям MVP.
Вехи и результаты
[Вехи] Чего можно достичь?
[Результаты] Что было достигнуто?
Вехи и результаты определяют фактическую работу, которую вы планируете или проделали для своего MVP.
Вехи устанавливают динамические краткосрочные цели, которые ставятся перед вашими исследованиями и исследованиями. Вехи станут результатами, когда вы начнете работать.
Начните с создания вех, чтобы разбить свой MVP. Как только вы достигнете вехи, задокументируйте результаты.
В образце YMH я нарисовал следующие иллюстрации как вехи / результаты.
TL: DR → Слишком долго не читал
Что в итоге?
TL: DR - отличный способ быстро подвести итоги и поделиться знаниями. Это дает вашим заинтересованным сторонам золотой самородок, чтобы они могли решить, следует ли им читать дальше.
Лучшее преимущество TL: DR - уважать время друг друга. Это экономит время ваших заинтересованных сторон, позволяя им понять вашу фактическую работу и влияние.
Примечание. По порядку я поставлю TL: DR после цели. Это позволяет заинтересованным сторонам напрямую просматривать сводки, чтобы решить, сколько времени они потратят на чтение.
Вывод: построение концептуального маяка.
Вы должны создавать свои продукты с учетом потребностей вашей аудитории. Это заставит вас создать проект анализа данных, который люди будут использовать и поддерживать.
Следовательно, создание проектной документации формирует концептуальный маяк для понимания того, как вы должны ориентироваться в периоды близорукости, устранять потери времени и обеспечивать общие воздействия.
Надеюсь, из этого поста вы узнали о проектных документах:
- Цели: Зачем вы это строите?
- Минимально жизнеспособный продукт. Что важно для вашей аудитории?
- Исследования и исследования. Сколько времени и ресурсов у вас есть?
- Основные этапы и результаты: Что можно / было достигнуто?
- TL: DR (слишком долго не читать): Что в итоге?
Соли Део Глория
Дополнительные советы от автора:
- 5 причин, почему мне нравится брать онлайн-мастеров для изучения науки о данных
- Как создать свой идеальный портфель в области науки о данных
- Аналитика данных - это сложно… Вот как вы можете добиться успеха
- Скрытые жемчужины письменной аналитики
об авторе
Я борюсь с фишингом с помощью ML @ Google.
Что мне нравится в моей работе, так это то, что я использую передовые алгоритмы машинного обучения и MLOps для защиты пользователей Chrome, Gmail и Android от фишинговых атак с целью кражи сбережений у уязвимых групп.
Я также пишу в журнале Towards Data Science Medium, чтобы направлять начинающих практиков машинного обучения и обработки данных с более чем 1 млн зрителей по всему миру.
В свободное время я пишу статьи на Medium, пишу код на Kaggle и готовлюсь к триатлону / велосипедным поездкам.
Наконец, свяжитесь с Винсентом через LinkedIn, Medium или Youtube Channel.
