Меня постоянно удивляют обязанности и названия новых ролей, появляющихся в «профессии данных». По общему признанию, это довольно туманная концепция, и я подозреваю, что среди практикующих существует множество мнений относительно того, как выглядит композиция этого пространства. Однако в этой области есть определенные тенденции, с которыми согласны и практики. Данные воспринимаются организациями более серьезно, чем когда-либо прежде, при этом наблюдается сопоставимый рост числа преданных "специалистов по обработке данных", инвестиций и технологий.

Для удобства и удобочитаемости я хотел бы вкратце остановиться на ролях данных, разделенных на категории технических революций - те, которые повлияли на существенные изменения, и особенно те, которые будут развиваться в будущем. Кроме того, недавно я написал статью Эволюция аналитики с данными, которая помогает лучше понять контекст этой статьи.

Будучи блоггером-любителем, это явно перспективный подход, и его сонливые глаза могут долго читать. Небольшой совет: возьмите чашку кофе.

Роли бизнес-аналитики

Совершенно справедливо, что BI не может конкурировать с модными модными названиями в технологической экосистеме в 2018 году и не радует ушей нашего поколения, разбирающегося в данных. Инструменты и стратегии ETL больше не используются? Затмевается ли объем BI из-за обширного применения методологий больших данных и науки о данных? - Конечно нет !!

Бизнес-аналитика значительно упала за последние год или два. Однако я бы не стал называть BI мертвым, поскольку его приложение очень важно для крупных предприятий. Такие роли, как аналитики бизнес-аналитики, архитекторы данных, разработчик ETL, инженер DW, администраторы BIDW, стали бы только более важными, поскольку особое внимание уделялось ведущим на рынке инструментам и технологиям, а не умениям -все-торгует ролями в существующих доменах.

Согласно недавнему исследованию рынка Wisdom of Crowds® Business Intelligence, BI продолжит обеспечивать достойную заработную плату и доминировать в определенных областях рынка. Вот некоторые из ключевых достижений 2018 года:

  • Высшее руководство, операции и продажи: 3 направления, способствующих внедрению бизнес-аналитики.
  • Панели мониторинга, отчеты, самообслуживание для конечных пользователей, расширенная визуализация и хранилище данных: 5 технологий и инициатив, стратегических для бизнес-аналитики.
  • Малые фирмы до 100 сотрудников имеют самый высокий уровень проникновения бизнес-аналитики.
  • 50% поставщиков предлагают бессрочное локальное лицензирование и облачные подписки.
  • Менее 15% организаций-респондентов имеют директора по данным.

Если у вас все еще есть разногласия, рекомендую прочитать полный пост: Состояние бизнес-аналитики, 2018.

Роли в сфере больших данных и науки о данных

Прежде чем мы углубимся в текущие роли, давайте сделаем шаг назад, чтобы понять, как и где все это началось. Моя идея состоит в том, чтобы продемонстрировать эти роли с помощью повествования над традиционными определениями открытого текста - последнее легко доступно в Интернете. Вдобавок каждая новая волна в отрасли порождает запутанные модные словечки, ложные интерпретации и сюрреалистические оговорки (что, мягко говоря, непросто).

Перемена

«Большие данные» были придуманы, чтобы отличать данные от небольших, поскольку они не были созданы исключительно системами транзакций фирмы. Он также заявил, что прогнозная аналитика предлагает лучшие тенденции данных, в отличие от основанного на фактах понимания, выходящего за рамки интуиции при принятии решений. Если размеры и аналитика были недостаточно оправданы, на этом этапе приветствовалось использование инструментов с открытым исходным кодом, управляемых сообществом, вместо дорогостоящих лицензий.

Обычно я воздерживаюсь от упоминания названий инструментов в своих сообщениях, но описать эту революцию без упоминания Apache Hadoop практически невозможно. Технологический стек и расширяемые проекты, парадигмы функционального программирования (масштабируемые, параллельные и распределенные системы), рост noSQL, планирование заданий и управление ресурсами кластера, меняющиеся аспекты Drag-n-Drop ETL и более совершенные методы моделирования данных - все это из которых был разработан Hadoop, но в конечном итоге акцент сделан на последнем - код - лучшая абстракция для программного обеспечения. Кроме того, он представил - как правило, в широком смысле - идею наличия специальной архитектуры, готовой к будущей интеграции с Data Science & Machine Learning.

С точки зрения разработчиков, это означает, что вам не обязательно работать на крупных технических специалистов, чтобы разрабатывать новые прорывные проекты. В вашем распоряжении поддержка сообщества и появляющиеся платформы для совместной работы, такие как Github, для демонстрации вашей работы.

С организационной точки зрения инженеры-программисты (разработчики Java), инженеры DW (разработчики BI / ETL, архитекторы данных), администраторы Infra (администраторы баз данных, Linux SA) изучали более интересные должности, такие как инженер по большим данным, разработчики Hadoop, архитекторы Hadoop, Инженеры поддержки больших данных начали процветать на рынке труда. Роли бизнес-аналитики упали, и годы, когда бизнес-пользователи и специалисты по обработке данных использовали одни и те же инструменты, прошли.

На промышленном уровне это оказало наибольшее влияние - поскольку не только технологические фирмы и онлайн-компании могут создавать продукты и услуги на основе анализа больших данных - это практически каждая фирма в отрасли.

Фьюжн

Технологическая отрасль внезапно разделилась из-за растущего спроса на использование больших данных со стратегиями Data Science. Таким образом, полевые роли были разделены на три сегмента: Разработка программного обеспечения (сильное программирование с Front & Back-end инженерами, Веб-разработчики, инфра-администраторы, специалисты по промежуточному программному обеспечению, разработчики iOS / Android), Data Engineering (сильный опыт работы с данными, например, разработчики ETL, архитекторы DWH, аналитики бизнес-аналитики, инженеры Hadoop, администраторы баз данных ) и приветствовал третью группу людей, считающихся количественными аналитиками следующего поколения (обладающими как вычислительными, так и аналитическими навыками), которые специализируются в растущей области исследований: Науки о данных.

По моему мнению, эта классификация привела к значительному переходу с положительными результатами, которые лучше всего использовали малые фирмы (

Предположительно, больше всего пострадали предприниматели, которые теперь представляют собой компанию среднего размера (или малого и среднего бизнеса), которые стремились получить коммерческое признание - конкурируя с крупными игроками на своем соответствующем рынке. Первоначальный успех - благодаря раундам серийного финансирования или при поддержке венчурных инвестиций - позволил им увеличить численность (50–300 + сотрудников). Они бросились к бессрочному найму, избыточным ролям, плохим стратегиям принятия решений. В конце концов, постоянное давление, направленное на то, чтобы оставаться на рынке в рамках квартальных сроков, привело к беспрецедентным увольнениям, убыткам из-за распределения акций и даже привело к ликвидации на ранней стадии. Некоторые технически подкованные инвесторы (которых я бы назвал ангелами-хранителями) предлагали помощь в слиянии и поглощении (слиянии и поглощении), но отрасль впервые увидела обратную сторону поглощения ролей.

Перекрытие

Между тем, это были не просто компании, которым приходилось нелегко с развивающимися ролями данных. В эту эпоху выросло число энтузиастов науки о данных ( академических и опытных), которые вышли из своих пещер комфорта и расширили свой набор навыков. И почему бы и нет, каждый из этих соискателей (математики, инженеры, докторанты, аналитики, выпускники) имел полное право претендовать на одну из самых высокооплачиваемых должностей 21 века. Пришли уважаемые профессора университетов и филантропы со своими версиями идеальной кандидатуры, которые только вызывали предубеждения, но не могли остановить толпу.

Заголовки с префиксами данных помогли на раннем этапе различать роли со схожим рядом задач. Намерение было направлено на определение охвата навыков и использования правильного потенциала. Аналитики данных уклонились от бизнеса и обратили свои взоры на статистику и разработку, в то время как архитекторы данных сосредоточили свое внимание на публикации моделей (не путать с машинным обучением) и проектировании баз данных. , управление с их торговой маркой политически нейтральным отношением.

Компании начали лучше понимать, развивая возможности предписывающей аналитики с машинным обучением вокруг своих помещений. Они начали конкурировать в области аналитики не только в традиционном смысле - улучшая внутренние бизнес-решения, - но также создавая более ценные продукты и услуги . Чистая потребность (или жадность) в достижении конкретных целей - более высоких результатов, чем в прошлом квартале - пропорционально свалила накладные расходы на роли и обязанности. Таким образом, многообещающая, но сложная должность вроде специалиста по данным также привлекала к себе центральную фигуру в командах - ежедневного помощника по всем вопросам, связанным с данными. О стрессе, усталости многих таких обремененных людей сказано не так много. Если человек такого уровня тратил большую часть своего времени на анализ, ему также удавалось найти время, чтобы использовать лучшие возможности для себя. Вот сатирическая песня о KDnuggets, подтверждающая мое утверждение.

Компромисс

Возникли два больших вопроса: станет ли наука о данных следующим пузырем? Мой ответ: НЕТ, но название «Data Scientist», возможно, стало таковым. Учебная проблема спроса и предложения - каждый кандидат хочет получить справедливую долю товаров и товаров, но лишь немногие из них оказались достойными Это. Хм, немного запутано! - Как вы поступаете с новым выпускником, претендующим на эту роль, или Что вы делаете, когда ваш специалист по данным, вероятно, уйдет, а вы остаетесь с группой «самопровозглашенных», которые стучатся к вам в дверь.

Во-вторых, с доступом к данным напрямую из таких источников, как веб-сайты, API, социальные сети или Интернет; потребность в языках программирования программного обеспечения и умение делать это с быстрой эффективностью - не могли быть нарушены. «Не у всех специалистов по обработке данных были отличные основы программного обеспечения» или «Почему концепции разработки программного обеспечения игнорировались на фоне всей шумихи о Data Science?». Компании вскоре поняли, что только перераспределение ролей может нормализовать такие склонности, поскольку они обратились к более широким инженерам -, чтобы оказать серьезную поддержку своим специалистам по данным и найти это равновесие. среди различных ролей сущностей.

Инженеры-программисты, которые, по-видимому, хорошо разбирались в науке о данных и машинном обучении, помогли решить эту дилемму и укрепили клуб инженеров по данным. В то время как те, кто практиковал основное веб-программирование и ориентированные на стек амбиции, перешли к более серьезным задачам: Full-Stack Engineer.

Беспроигрышная ситуация: специалисты по обработке данных получили надежного помощника со вздохом облегчения (раздутая шумиха вокруг их короны снизилась) и столь же компетентную роль на горизонте, чтобы бросить им вызов. Сговор не только заставил жаждущих-энтузиастов закружиться, но и открыл еще одну дверь, сделав инженерию данных одной из самых сложных дисциплин на сегодняшний день. Этот современный инженер по данным дополняет все остальные роли, незаменим в любой фирме и практически первым нанимает в стартапах в наши дни.

Ставка (обходной путь, который ударил) путем уравновешивания взаимно отличающихся ролей полностью окупился, но техническая индустрия знала, что не может допустить еще одной неудачи, и должна была быть готова к растущему признанию Искусственный интеллект не за горами.

Разрешение

Компании неизбежно выявляли недостатки в своей организационной структуре: позиции, приоритеты и возможности - и создавали команды, управляемые данными . Основное внимание уделяется разделению ролей, разделению труда, предотвращению конфликтов задач, правильным правилам сотрудничества. Расширенный пример ролевых лидеров, первопроходцев соответствующих подразделений внутри такой команды, может быть следующим: главный специалист по данным и технический руководитель.

Сегодня идеальная команда специалистов по науке о данных - это миф или предмет горячих споров. Что компании ожидают от своей команды, так это собрать группу супергероев (Мстители) - Во многих случаях они с треском терпят неудачу, так это назначать человека, который предоставляет этим командам контекст (Ник Фьюри). Именно здесь появляются директора по данным. Поскольку данные становятся неотъемлемой бизнес-стратегией, CDO становятся все более важной ролью в организации. Согласно опросу Forbes, более 50% CDO, скорее всего, будут напрямую подчиняться генеральному директору в 2018 году. Они обязательно будут играть более активную роль в формировании инициатив своего бизнеса.

Часто я разочаровываюсь, когда вижу в описании должностей «Продвинутый уровень владения английским языком» или «Только для кандидатов-носителей языка». Так что я каждый раз проактивно расспрашиваю (или троллю) такие плакаты с вакансиями (мне действительно нравится их кажущаяся пауза). Язык не следует рассматривать как препятствие, его следует использовать как мощный источник объединения команд. Лучший пример в 2018 году, чтобы прояснить мою позицию, - это действительно язык сам по себе: Python. Учредители (генеральные директора и директора по развитию) должны поддерживать эти небольшие коммуникации внутри своих команд и, что наиболее важно, их первого координационного центра - команды запроса талантов .

В наши дни HR-координаторы, рекрутеры, аутсорсинговые хедхантеры имеют доступ к обширным ресурсам данных (Medium, Datacamp) и платформам для обработки данных (LinkedIn Recruiter, Glassdoor), чтобы уточнить свои поиски улучшенного найма; поэтому делая их роли даже управляемыми данными.

Машинное обучение и роли, управляемые ИИ

Возможно, наиболее привлекательным аспектом машинного обучения является его безграничная применимость. Машинное обучение, а теперь и искусственный интеллект уже затрагивают очень много областей, включая образование, финансы и другие. Методы машинного обучения уже применяются в критически важных областях в сфере здравоохранения, оказывая влияние на все, от усилий по сокращению вариативности ухода до анализа медицинского сканирования.

Есть ряд компаний, для которых их данные (или их платформа анализа данных) является продуктом. В этом случае анализ данных или машинное обучение могут быть довольно интенсивными. Вероятно, это идеальная ситуация для тех, кто имеет формальное образование в области математики, статистики или физики и надеется продолжить свой академический путь.

«Инженеры по машинному обучению часто больше сосредотачиваются на создании качественных продуктов на основе данных, чем на ответах на операционные вопросы компании».

Компании стали более обнадеживающими и постоянно ищут инженеров по машинному обучению: непредубежденных кандидатов для всех возрастных групп (от академических стажеров до ученых-исследователей). Поколение социальных сетей также ценит гораздо больше, чем раньше, как это видно на LinkedIn, Medium, Github.

Компании с искусственным интеллектом, успешно внедряющие интеллектуальные машины (например, чат-боты), уже на шаг впереди других. Роли, закрепленные за программным обеспечением, прикладным и основным, ясно указывают на то, что они серьезно относятся к своим разработкам и предложениям услуг. Поскольку в этом отношении нет никаких обобщений относительно имени или стажа, они могут импровизировать AI-названия в будущем.

Обширные роли

Есть много ролей, которые ежедневно дополняют команды, управляемые данными. Они необходимы в организации, независимо от того, к какой команде они принадлежат. Вы, наверное, удивитесь, почему я не упомянул их раньше. Честно говоря, я был настроен скептически по причинам, указанным ниже:

  • У меня ограниченный опыт работы с этими профилями и их объемом.
  • Они не рассматриваются в первую очередь в категории ролей, управляемых данными.
  • Универсальность их предметной области позволяет им работать в разных командах.

Позвольте мне попытаться объяснить, прежде чем сюда прибудет вооруженная ножом толпа.

  • Графические дизайнеры: творческие руководители во всех смыслах. Полный пакет искусства, науки, программирования, идей и воображения с бесконечными возможностями. Они добавляют ценность своим вокальным присутствием и бесстрашным отношением. Мои личные фавориты.
  • Лица, принимающие решения: роль, которую часто неправильно понимают и упускают из виду. Прежде чем нанимать этого специалиста по данным, получившего степень доктора философии, убедитесь, что у вас есть лицо, принимающее решения, которое понимает искусство и науку принятия решений, особенно в стартапах.
  • DevOps и инженеры по обеспечению надежности сайтов: в широком смысле можно разделить на две категории: «группы бизнес-возможностей» и «группы гибких операций». Архитекторы и инженеры данных могут координировать, изучать и реализовывать такие задачи, как облачные (IaaS, PaaS, SaaS) конфигурации, контейнеры, развертывание и виртуализация микросервисов. Однако DataOps - это новая платформа, обеспечивающая непрерывный поток данных внутри предприятия.
  • Облачные архитекторы: специалисты по технологиям, которые обычно берут на себя роль консультантов (оплачивают почасовую оплату, как и их облачные сервисы). Опять же, если ваш инженер по обработке данных знаком с облачными концепциями или имеет сертифицированного сотрудника / специалиста, вы можете не нанимать их.
  • Менеджеры проектов и реализации - Некоторым компаниям, занимающимся обработкой данных и аналитикой, все еще приходится придерживаться старых норм методологий Agile и Scrum. Прежде чем они начнут консультировать клиентов по организации продаж своих продуктов и услуг, им нужны опытные менеджеры, которые обеспечат правильное распределение сроков и ресурсов PoC (proof-of-concept).
  • Инженер по сетям и кибербезопасности: их часто называют внутренними командами, но, несмотря на все вышеперечисленное, они скоро станут неотъемлемой частью групп, управляемых данными. Поскольку в 2018 году безопасность данных уже выявила угрожающие опасения, эти роли стали «критически важными», поскольку большинство компаний ежедневно работают в Интернете.

Мысли на прощание

Безусловно, что касается инструментов, технология становится более доступной и интуитивно понятной, чем когда-либо прежде. Например, в большинстве инструментов для очистки, моделирования, отчетности и визуализации имеется множество адаптеров, что означает, что загрузка данных сама по себе больше не является чрезвычайно важным требованием. Однако это также способствовало в некоторой степени повсеместному представлению данных - оно должно работать с минимальными усилиями. Существует зловещий риск того, что все меньше и меньше времени будет уделяться правильным основам.

Технологии и отрасли, на которые следует обратить внимание в 2018–2019 годах:

  • Прогрессивные веб-приложения (PWA) - смесь мобильных и веб-приложений.
  • Блокчейн и финтех - построение метамодели, надежная торговля и кредитный скоринг.
  • Здравоохранение - Диагностика с помощью медицинских изображений (компьютерное зрение и машинное обучение).
  • AR / VR - спортивный анализ, визитки (отслеживание изображений), игры в реальном времени (Хадо).
  • Речевые помощники AI, более умная интеграция с чат-ботами.
  • Интеллектуальная цепочка поставок - цифровые двойники (датчики Интернета вещей).
  • 5G - большие данные, мобильные облачные вычисления, масштабируемый Интернет вещей и виртуализация сетевых функций (NFV).
  • 3D-печать - эффективность заводского изготовления, обнаружение дефектов, профилактическое обслуживание машинного обучения.
  • Темные данные - информация, которая еще не стала доступной в цифровом формате.
  • Квантовые вычисления - сокращение времени обработки данных на доли.

Наконец, очевидно, что на рабочем месте роли не смогут соответствовать динамике технологий. Уловить эту следующую возможность будет сложно. По мнению многих консультантов по трудоустройству, существуют бинарные способы сохранить эту безопасность работы в неизменном виде: быть экспертом в одной области, подтверждая позицию в стабильной компании, ИЛИ искать сложные должности, определяя новые области, соответствующие техническим тенденциям. Как инженер по обработке данных, я придерживаюсь гибридного подхода - поддерживая дисциплину обучения между профессиональной карьерой и личными амбициями - что практически позволяет мне работать в любой технологической отрасли. Если есть какое-то утешение, я точно знаю, что несу ответственность за свои успехи и неудачи в будущем.

«Никогда не позволяйте никому говорить вам, что вы что-то не можете сделать. У тебя есть мечта, ты должен ее защитить. Люди не могут что-то делать сами, они хотят сказать вам, что вы не можете этого сделать. Хочешь чего-нибудь, пойди и возьми. Период."

Погоня за счастьем

См. Исходный пост, опубликованный на: Яблоки! = Апельсины