Данные, возможно, являются наиболее важным активом, который есть у организаций, и время не слишком далеко, чтобы активы данных стали важной частью баланса.

Две тенденции, которые будут преобладать на любом уровне предприятия:

1) Демократизация доступа к данным в организации

  • Стратегия данных, ориентированная на предметную область, приведет к децентрализованному облачному хранению и вычислениям. Право собственности на данные перейдет от централизованных ИТ к бизнесу
  • Политики данных, стандарты, риски и соответствие будут управляться и регулироваться центральной группой управления данными или советом по управлению данными.
  • Появятся современные базы данных и инструменты управления для поддержки демократизации данных.

2) Подготовка данных или первое знакомство с данными

Современная архитектура данных перешла от хранилищ данных и озер данных к решениям, которые объединяют их и добавляют больше возможностей. ETL с самого начала был надежным процессом анализа данных и хранения данных, но растущий темп использования данных и недорогое хранилище означают, что скорость быстро обгоняет эффективность в качестве наиболее важного элемента конвейера данных. Поскольку этап преобразования в конвейере ETL часто может быть узким местом, некоторые современные компании, занимающиеся хранением данных, переходят на подход, основанный на ELT. Шаг трансформации переходит в конец процесса. Он даже откладывается до момента запроса аналитиками. Инструменты подготовки данных становятся умнее, благодаря использованию ИИ и машинного обучения подготовка данных может динамически считываться и интерпретироваться на различных этапах рабочих процессов обработки данных. Некоторое внимание к подготовке данных будет сосредоточено следующим образом.

  • Неглубокое профилирование данных происходит на уровне извлечения.
  • Качество данных становится обычным явлением при записи их в сам конвейер данных. Это заимствует принципы из «модульных тестов» в мире разработки программного обеспечения.
  • Растет потребность в инструментах подготовки данных для предметной области и соединителях данных для подключения различных современных источников данных и обработки на уровне подготовки, чтобы быть «первым взглядом на данные».

Возможности:

Данные вездесущи, и организация должна быть готова справляться с распространением данных, поступающих из разных источников. Значимые данные, которые собирают эти организации, превосходят их возможности управления данными. Люди, которым это нужно, не могут получить к ним быстрый доступ, что замедляет темпы инноваций. «В движении данных есть трения», к ним трудно получить доступ, защитить и распространить. Чем крупнее организация, тем сильнее трение данных и больше препятствие для скорости.

Управление данными — это страховка; организации необходимо превратить свои данные в ценный бизнес-актив, создающий конкурентное преимущество и помогающий развитию организации. Организации используют внешние консультации по управлению данными, чтобы определить методы и процессы для достижения предсказуемых результатов. Ожидается, что рынок управления данными будет расти.

Политики и процессы, не говоря уже о внесении необходимых изменений. Для координации управления изменениями в организации требуются современные инструменты управления данными для управления метаданными, каталогами данных и ключевыми показателями эффективности качества данных. В отличие от большинства приложений SaaS (подключи и работай), инструменты управления данными необходимо настраивать в соответствии с потребностями предприятия и его организационной структурой. Поставщики решений ищут взаимовыгодное партнерство для различных сегментов рынка и различных областей.

В последнее десятилетие большинство организаций инвестировали в ИТ для сбора данных корпоративного уровня, известных как озера данных. Проблема заключается в том, как преобразовать необработанные данные в информацию и найти значимые идеи. Инженеры данных и специалисты по данным тратят около 80% своего времени на преобразование необработанных данных в удобный формат для анализа или моделирования. Потребность в инструментах подготовки данных на основе ИИ возросла. На рынке доступно несколько стандартных инструментов на основе ИИ. Это делает только преобразование уровня справочных данных и организацию, ориентированную на эффективность. Требования очевидны, что преобразование данных начинается с конвейеров данных. Организации, которые ищут потенциальные инструменты для подготовки данных и коннекторы данных для предметной области, улучшают качество данных, целостность, применимость безопасности и доступность.

Возможности изобилуют управлением данными и подготовкой данных. Однако успех будет определяться доменом, который вы выберете для работы.