Включая DataOps, Data Strategy и xAI.

Общеизвестно, что люди плохо предсказывают будущее (особенно в долгосрочной перспективе). Однако это все же может быть полезным упражнением. Давайте посмотрим, что, по моему мнению, принесет 2021 год в науку о данных, инженерию и стратегию. Этот список не имеет особого порядка и в основном сосредоточен на моих наблюдениях в Германии:

  • Стабилизация ролей. В последние годы появились новые роли в области данных, такие как инженер по машинному обучению, владелец продукта данных и другие. Они еще не полностью прижились, поскольку более крупные компании все еще прибегают к традиционной роли Data Scientist. Я бы сказал, что было бы неплохо иметь больше вакансий с соответствующими наборами навыков - как для сотрудников, так и для работодателей.
  • Объединение инструментов MLOps. Прошлый год стал годом, когда количество инструментов и стартапов MLOP резко возросло. Тем не менее, многие такие компании предлагают лишь разновидности одного и того же продукта. В 2021 году многие будут отсеяны, а лидеры захватят большую часть рынка.
  • Ажиотаж вокруг DataOps растет. Более широко обсуждается применение гибких и бережливых методологий в науке о данных и инженерии.
  • Стратегия обработки данных становится популярной. Я освещаю эту тему в течение последних двух лет, но эта должностная инструкция по-прежнему остается редкостью, особенно в Европе. Однако это не означает, что роль не исполняется существующими людьми. Они могут просто работать под другой плиткой. Тем не менее, это поле необходимо для успешной реализации проектов по работе с данными, и я с оптимизмом смотрю на его дальнейшее развитие и признание.
  • xAI в разработке. xAI уже давно поднимается по кривой хайпа Gartner и теперь достигает точки, когда начинает приносить результаты. Есть еще препятствия на пути к успеху этого подполя (например, требуются нестабильные открытые исходные коды и требуются тайные наборы навыков). Тем не менее, появляются новые инструменты для продвижения его в производство.
  • Дальнейший взрыв в области инженерии данных. Ни один проект в области науки о данных не будет успешным без его основы - инженерии данных. Компании поздно осознали это, и в 2021 году все еще предстоит наверстать упущенное.
  • Интеллектуальная очистка данных и инструменты ETL. Всем известно, сколько времени уходит на очистку данных. До сих пор эту проблему было сложно решить с помощью инструментов, но новые разработки, такие как Cloud Data Prep, породят конкурентов.

Имея в виду этот список, я хочу высказать два пожелания на 2021 год в области данных. Во-первых, я надеюсь, что вся эта область, но особенно ее часть, связанная с машинным обучением, станет более «скучной», но полезной. Во-вторых, мы начинаем использовать эту фантастическую технологию для решения насущных проблем и движемся к более оптимистичному и амбициозному будущему.

Примечание. Эта статья изначально появилась на странице https://boyanangelov.com/blog/data-predictions-2021/