Это 4-й выпуск серии Переосмыслить метаданные… Блог.
До сих пор мы рассмотрели -
В этом выпуске мы рассмотрим Пробелы в использовании корпоративных метаданных в их текущем состоянии.
Текущие вызовы
Чтобы лучше понять проблемы, давайте сначала рассмотрим природу проблем, а затем проанализируем их влияние на бизнес.
Природа проблем
1. Метаданные предприятия фрагментированы
Объем метаданных постоянно расширяется. Термин изначально тяготел в основном к данным. Но в современном мире метаданные охватывают множество разных аспектов, как мы видели в первом эпизоде. По мере эволюции корпоративные метаданные стали изолированы узкоспециализированными продуктами, критически важными для операций. Возьмем несколько примеров —
- Каталоги API занимают видное место в крупномасштабных службах на любом предприятии.
- Каталоги данных содержат детали, ориентированные на данные.
- Каталоги приложений обеспечивают жизненный цикл приложения для работы с данными.
- Каталоги машинного обучения позволяют управлять моделями в пространстве машинного обучения.
- Каталог объектов становится все более популярным по мере развития машинного обучения.
- Инфра-каталоги являются основой технологического ландшафта, помогая управлять жизненным циклом систем и баз данных.
2. Глубокие связи между гранями метаданных трудно установить
Как неоднократно упоминалось в этой серии —
Метаданные предприятий современного мира — это глубокий суперграф, соединяющий людей, технологии и их жизненные циклы.
Отсутствие прочных связей между тремя сферами (люди, жизненный цикл, технологии) — мешает предприятию достичь более высокого уровня интеллекта.
3. Существующие формы интеграции не являются устойчивыми
В то время как интеграция развивается по различным аспектам метаданных, они все еще слабо связаны и недолговечны. Мы часто рассматриваем быструю интеграцию между продуктами и услугами как способ соединения точек в ориентированной на платформу экосистеме. Однако со временем эти интеграции часто имеют тенденцию быть недолговечными и исчезать по мере того, как отдельные продукты развиваются, чтобы идти в ногу со своей постоянно требовательной дорожной картой.
Давайте возьмем в качестве примера решение для Data Lineage. Чтобы эффективно передавать данные, организация должна сопоставлять детали по аспектам API, приложений, данных, классификации, машинного обучения и функций. Решение чаще всего приходит в виде интеграции метаданных или слабо связанных точек данных. Но по своей природе каждый аспект метаданных не принадлежит и не управляется одной командой или организацией. И у каждого продукта есть свои приоритеты для доставки в определенный период времени. В более длительном периоде времени мы получаем слабосвязанные системы, которые не предоставляют эффективного решения, переживающего изменения в командах, организациях и технологических стеках.
4. Отдельные аспекты систем метаданных предлагают только линейное представление своей области.
Продукты и функции в каждом аспекте метаданных предлагают очень линейное представление своей области. Чтобы действительно реализовать сценарии корпоративного использования, необходимо сопоставлять информацию по системам метаданных.
- Каталоги машинного обучения содержат подробные сведения о спецификациях метаданных машинного обучения, но обширная информация о данных, на которые опираются модели, часто содержится в мирах каталогов функций. Еще один шаг вперед: истинные метаданные о наборах данных хранятся в каталогах данных.
- Каталоги приложений имеют решающее значение для предприятий, ориентированных на данные. Жизненный цикл приложения данных основан на этих каталогах приложений. Однако каталоги приложений содержат мало информации о данных, которые потребляются или производятся приложениями. Для этого уровня информации необходимо перейти к Каталогам данных.
- Каталоги API, как мы уже говорили в предыдущих эпизодах, являются ключевыми для предприятий, предоставляющих крупномасштабные услуги. Чтобы понять нисходящий поток информации от различных API и служб, необходимо объединить эту информацию с другими системами метаданных, такими как Каталог приложений, Каталог данных и Каталог машинного обучения . Это чаще всего рассматривается как Lineage.
Результирующее влияние на бизнес
1. Большую картину трудно нарисовать
Наличие корпоративного духа позволяет получить более широкое представление о ландшафте — во всех измерениях, связанных с людьми, технологиями и жизненными циклами. Сегодня нам не хватает такой возможности в сложных экосистемах. Контекст ограничен определенными полями. Вот видео, раскрывающее эту конкретную проблему.
2. Пользовательский опыт трудно адаптировать для разных персонажей.
Каждый продукт, ориентированный на метаданные, предназначен для обеспечения индивидуального взаимодействия с пользователем.
Например, взаимодействие с пользователем в каталоге ML основано на жизненном цикле домена машинного обучения. С другой стороны, каталоги API сосредоточены на управлении и эксплуатации API и сервисов. Но такое решение, как data lineage, затрагивает гораздо больше аспектов метаданных, таких как приложения, данные и машинное обучение.
Аналогичным образом, вариант использования конфиденциальности требует от пользователя взаимодействия с данными, классификацией (DLP), глоссарием и приложениями.
3. Трудно раскрыть скрытые возможности и риски
Само разделение интересов по своей природе препятствует соединению точек в Предприятии. Возьмем пример производительности. Представьте себе всплывающие рекомендации по артефактам, данным, приложениям, похожим пользователям — для нового сотрудника в организации. Это требует создания контекста, который требует глубоких связей между организацией, пользователем, приложением, данными, а затем создания сходства через контекст. С обычными решениями — рекомендации по построению — это натяжка из-за ограниченной глубины информации. И любая попытка создать решение повлечет за собой перемещение огромного количества метаданных в области приложений, пользователей, данных и т. д.
4. В текущей форме — принятие решений на основе метаданных обходится дорого.
Зрелые организации отслеживают и предоставляют комплексные решения с помощью KRI, KPI или других форм понимания. Но поскольку основное внимание уделяется операционализации отдельных стеков, отчеты о значениях и выводах становятся проблемой последней мили. Это часто передается на аутсорсинг продуктам BI, которые извлекают данные из различных систем метаданных для получения информации. Такие решения дороги в разработке, обслуживании и развитии в течение более длительного периода времени, что приводит к высокой совокупной стоимости владения.
5. Запоздалые выводы приводят к замедлению принятия решений
Часто передовые аналитические данные необходимы для принятия своевременных мер — будь то снижение рисков или повышение операционной эффективности. Из-за фрагментарного характера метаданных и их аспектов получение новой или быстрой информации невозможно. Это требование часто влечет за собой трудоемкие проекты, что приводит к длительному риску и упущенным возможностям.
Возможности
Чтобы максимизировать ценность метаданных и монетизировать их, мы должны решить основную природу проблем. Это огромная возможность оказать положительное влияние на бизнес.
Следите за обновлениями…
В следующих постах я предприму двухэтапный подход к решению основной природы проблем:
- Глядя на текущие характеристики системного проектирования ориентированных на метаданные или инфраструктурных продуктов.
- Обсуждение нового ориентированного на продукт подхода к решению проблем.
