Стоит ли это шумиха

Современный стек данных (MDS) - это новый подход к интеграции данных, способный сэкономить время ваших инженеров, позволяя как инженерам, так и аналитикам сосредоточиться на важных делах. Благодаря набору инструментов для поддержки интеграции данных современный стек данных освободит ваши команды от монотонности, предоставив им возможности для анализа, автоматизации и передовых технологий. По всем этим причинам настало время перейти на MDS. Вот как это сделать.

Что такое современный стек данных?

Проще говоря, современный стек данных (MDS) - это набор инструментов, обеспечивающих интеграцию данных. По порядку, эти инструменты включают полностью управляемый конвейер данных для процессов «извлечения, загрузки и преобразования» (ELT), а также облачное озеро данных или столбчатое хранилище для места назначения данных. Кроме того, для MDS требуется инструмент преобразования данных и платформа визуализации или бизнес-аналитики (BI), чтобы ваша компания могла использовать все числа.

Основное различие между современным стеком данных и устаревшим стеком данных заключается в хосте. Современный стек данных размещается в облаке и, как следствие, требует очень небольшого технического вмешательства со стороны пользователей. Современный стек данных почти гарантирует доступность для конечного пользователя, в то время как компания в целом обладает бесконечной масштабируемостью, которая быстро растет без дорогостоящих простоев, связанных с масштабированием серверной комнаты, которая поддерживает устаревший стек данных.

Благодаря современному стеку данных система построена с учетом потребностей бизнес-пользователей, что устраняет технические барьеры, которые долгое время не позволяли аналитикам и другим ключевым заинтересованным сторонам получать доступ и полностью использовать данные, хранящиеся в компании. Современный стек данных также обеспечивает простоту использования инструментов интеграции и анализа при минимальных технических знаниях. За счет уменьшения технических сложностей современный стек данных предлагает бесчисленные преимущества компаниям, которые его внедряют.

Преимущества современного стека данных

Переход к современному стеку данных может произойти только после внутреннего осознания того, что данные являются реальным активом, с последующим осознанием того, что ваша компания еще не использует данные в полной мере. Это реальность, с которой сейчас сталкиваются многие крупные и малые бренды, и поэтому переход на современный стек данных становится очевидным, логичным и захватывающим следующим шагом. Уловка состоит в том, чтобы понять, какие выгоды вы можете ожидать, что, в свою очередь, поможет вашей компании найти разумный и своевременный подход для обеспечения успешного внедрения MDS. Как только вы это сделаете, вы сможете начать использовать множество льгот.

Масштабируемая структура

За последнее десятилетие появилось бесчисленное количество инструментов для работы с данными, в первую очередь в ответ на новый толчок организаций к извлечению максимальной пользы из своих данных. В результате каждый инструмент обработки данных занял свое место на рынке, и большинство из них предлагает узкоспециализированное решение для одной части жизненного цикла данных. Вместе эти инструменты образуют высокоэффективный стек данных, который можно масштабировать с небольшими техническими барьерами для входа. При создании MDS для вашей компании вы можете искать инструменты в некоторых или во всех следующих категориях:

  • Прием поведенческих данных для потоковой передачи данных о поведенческих событиях, исходящих от подключенных устройств, таких как SmartTV и носимые устройства.
  • Прием транзакционных данных для пакетной или потоковой передачи транзакционных данных, исходящих из инструментов SaaS, отчетов и внутренних баз данных.
  • Хранилище в виде облачных озер и хранилищ данных, что обеспечивает недорогое, постоянное и масштабируемое хранилище, обеспечивающее доступ к данным с малой задержкой.
  • Обработка пакетных и потоковых преобразований данных, помогающая агрегировать, фильтровать и изменять необработанные наборы данных, чтобы подготовить их к анализу.
  • Операции обратного ETL, позволяющие вводить расширенные пользовательские данные в бесчисленные инструменты, такие как CRM, для дальнейшего использования и анализа. Идеально подходит для приложений самообслуживания с данными, например для отдела маркетинга.
  • Процессы анализа, часто состоящие из инструментов бизнес-аналитики (BI) и продуктовой аналитики, которые способствуют развитию культуры самообслуживания для команд маркетинга и разработчиков.
  • Инструменты интеллекта, такие как искусственный интеллект (AI) и машинное обучение (ML), позволяют профессионалам в области обработки данных выявлять исторические тенденции и прогнозировать поведение в будущем.
  • Инструменты управления для создания конвейеров данных, улучшения наблюдаемости и решения организационных проблем.

Накладные расходы на разработку данных

Благодаря современному стеку данных ваша организация может снизить затраты на разработку данных на ошеломляющие 90% и более. Это снижение затрат происходит в первую очередь за счет устранения необходимости создавать конвейеры данных и поддерживать их. Благодаря полностью управляемым соединителям данных, которые запускаются за считанные минуты и автоматически интегрируются с местом назначения вашей компании (например, с вашим облачным озером данных или хранилищем), современный стек данных существенно сэкономит время и деньги.

Ignition Group, медиа и телекоммуникационная компания, представляет собой тематическое исследование, которое на собственном опыте демонстрирует эффективность внедрения MDS. Они сказали: Изначально мы планировали перенести наши источники данных в существующее хранилище SQL Server. Это потребовало бы усилий трех человек в течение двух лет и, по оценкам, обошлось бы в 6 миллионов рандов [~ 400 000 долларов] только для того, чтобы за два месяца добраться до того, к чему мы пришли с [MDS] .

Возможность быстрого выполнения

Имея больше времени и данных, современный стек данных означает, что команды вашей компании могут полностью переключить свое внимание на предстоящие аналитические проекты. Например, как и многие компании, фитнес-приложение Strava когда-то полагалось на партнера по атрибуции для обработки данных о клиентах, прежде чем оно внедрило современный стек данных. До MDS Strava использовала локальные машины для моделирования данных с помощью Python и R. После внедрения своего современного стека данных Strava может обрабатывать собственные данные из разных маркетинговых каналов и проводить анализ с помощью Snowflake.

Переход на MDS позволил Strava построить собственную модель атрибуции и лучше понять путь клиента. Компания заявила: Мы можем видеть, взаимодействуют ли наши платные пользователи с нашими социальными или SEO-каналами, и определять, есть ли какие-либо перекрестные эффекты. Используя наши показатели, мы можем определить, лучше или хуже SEO, чем наши платные приобретения или маркетинговые каналы наших партнеров. Это было невозможно, когда у нас не было данных внутри компании .

Показатели эффективности

Современный стек данных не только открывает дополнительные источники данных. Это также дает вашей компании простой в использовании инструмент бизнес-аналитики, который покажет длинный список новых показателей, которые вам еще предстоит задействовать и использовать. Вы начнете видеть эти преимущества как минимум по двум причинам. Во-первых, ваши данные с MDS богаче, что позволяет проводить новый перекрестный анализ. Во-вторых, MDS улучшает ваш доступ к данным в разных командах, давая большему количеству сотрудников возможность находить и предлагать показатели, основанные на их уникальных компетенциях.

Zoopla, веб-сайт по недвижимости, является отличным примером того, как современный стек данных может улучшить стратегическое использование данных с помощью перекрестного анализа. Используя MDS, Zoopla смогла реплицировать свои новые данные NetSuite и Salesforce в свое облачное хранилище, а затем использовать инструмент бизнес-аналитики для постоянного обновления информационной панели с более чем 40 ключевыми показателями эффективности (KPI), которые информировали руководство. Компания заявила: «Мы всегда думали, что не хотим создавать точечное решение. Мы хотели убедиться, что все данные, которые мы получаем, можно использовать для других целей, и мы хотели сделать эти данные доступными в режиме самообслуживания ».

Примеры современных инструментов стека данных

Как уже упоминалось, существует бесчисленное множество инструментов для работы с данными, и было бы невозможно охватить их все, не говоря уже о том, чтобы использовать их все как часть современного стека данных вашей компании. В конечном итоге, инструменты, которые вы выберете, будут зависеть от уникального варианта использования вашей компании, а также от ее размера, бюджета и ресурсов. Тем не менее, стоит рассмотреть самые популярные инструменты, потому что они хорошо известны не зря.

Учитывая, что существует так много типов инструментов, которые ваша компания может внедрить в свой современный стек данных, давайте разберем некоторые из самых популярных по категориям.

Получение данных

Как поясняет StitchData, прием данных - это транспортировка данных из различных источников на носитель, где они могут быть доступны, использованы и проанализированы организацией.

  • Fivetran: с Fivetran ваша компания может беспрепятственно передавать данные на ваш склад, управляя процессом доставки данных из любого источника вплоть до выбранного места назначения, обеспечивая наиболее точную и актуальную информация в процессе.
  • Rivery.io: благодаря универсальной поддержке любого типа или источника данных, которые необходимо обрабатывать вашей компании, Rivery представляет собой надежный инструмент для приема данных, который будет обрабатывать данные так часто, как вам нужно, что дает вам лучший контроль. по всем вашим источникам данных.
  • Airbyte: решение с открытым исходным кодом для приема данных, Airbyte обещает запустить ваши конвейеры за считанные минуты. Выбирайте из готовых соединителей или создавайте собственные в соответствии со своими потребностями.

Хранилище данных

В контексте современного стека данных под хранилищем данных понимается облачное решение, такое как хранилище данных или озеро данных, куда ваш инструмент приема данных будет отправлять ваши данные.

  • Snowflake: одна из самых популярных платформ хранения данных для MDS. Snowflake может похвастаться тем, что это единственная облачная платформа для обработки данных, обеспечивающая наилучшие условия для ваших данных и ваших пользователей.
  • BigQuery: BigQuery от Google - это чрезвычайно экономичное, полностью бессерверное мультиоблачное решение, которое поможет вашей компании легко управлять своими большими данными.

Обратные ETL

По словам High Touch, обратный ETL - это процесс копирования данных из хранилища данных в операционные системы записи, включая, помимо прочего, инструменты SaaS, используемые для роста, маркетинга, продаж и поддержки.

  • High Touch: одно из пользующихся наибольшим доверием имен в бизнесе, High Touch обеспечивает легкую и точную синхронизацию данных между инструментами, которые наиболее важны для вашей команды.
  • Census: рекламируя себя как простой способ синхронизации данных о клиентах, Census удерживает ваши команды на одной странице, гарантируя, что каждый инструмент и каждый член команды использует самую свежую информацию. .

Визуализация данных

Этот термин не требует пояснений, но инструменты продолжают становиться все более сложными. При использовании мощного инструмента визуализации данных ваша компания будет исследовать свежие идеи, связи и невиданные ранее показатели - все, что для этого нужно, - это увидеть ваши данные в новом, подключенном свете.

  • Mode. Режим, получивший название платформа для совместной работы с данными, знакомит с современной бизнес-аналитикой и интерактивной наукой о данных, обеспечивая чрезвычайно мощные и красивые идеи, которыми вы можете легко поделиться с любой заинтересованной стороной.
  • Looker: цель Looker, предлагаемая Google, - позволить вашим данным говорить с помощью интегрированных аналитических данных, рабочих процессов и современных инструментов бизнес-аналитики, которые помогут вам глубже изучить данные, которые вы просматривали. с видом.

Как создать современный стек данных

Если, изучая многочисленные преимущества современного стека данных, вы убедились, что ваша компания упускает невероятные возможности (из-за отсутствия MDS), следующим логическим шагом будет ответ на вопрос: как вы сделаете этот шаг? Преимущества перехода на MDS очевидны, но путь к нему может быть намного сложнее.

Огромное количество инструментов, составляющих современный стек данных, может составить устрашающий список, но бояться нечего. Если вы будете следовать передовым методам миграции, переключение может оказаться на удивление простым; вам просто нужно начать с хорошо продуманного плана, чтобы ваша компания могла его реализовать.

Начать с простого

Ваша компания может в конечном итоге включить множество инструментов в свою MDS, но это не значит, что вам нужно работать с нуля, пытаясь интегрировать дюжину инструментов одновременно. В своей простейшей форме современный стек данных требует только инструмента приема, инструмента хранения, инструмента преобразования и инструмента бизнес-аналитики.

Чтобы еще больше упростить дело, бесчисленное количество платформ может выполнять более одной из этих ролей. Например, Redash предлагает как хранилища данных, так и инструменты бизнес-аналитики, поэтому сам по себе этот вариант означает, что вам нужно только найти инструмент для приема и преобразования. Как только вы это сделаете: у вас в руках современный стек данных.

Тщательно планируйте

Хотя вы можете и должны начать с упрощенной версии современного стека данных, чтобы сдвинуть дело с мертвой точки и упростить как миграцию, так и внедрение, вы также не хотите спешить. Да, вы можете сэкономить на некоторых шагах, собрав воедино самые простые инструменты MDS, но это не делает план жизнеспособным вариантом для вашей компании.

Вместо того, чтобы пытаться чрезмерно упрощать, основная цель вашей компании в процессе внедрения должна состоять в том, чтобы тщательно понять и спланировать все препятствия, препятствия, потребности, исключения и особые варианты использования, которые обязательно появятся в процессе. Если вы думаете, что переход на современный стек данных обескураживает, представьте, что прошло шесть месяцев после внедрения и вы поняли, что выбрали неправильные инструменты. Это важное решение, которое вы должны обдумать.

Выбирайте правильных партнеров

В конце концов, не существует универсального подхода к внедрению современного стека данных. План каждой компании, выбор инструментов и сроки будут отличаться в зависимости от их размера, ресурсов, гибкости и общей маневренности.

Если вашей команде нужна помощь в разработке стека данных, обратитесь к нашей команде опытных экспертов по комплексным данным.

Заключение

Выполняя свое исследование, как вы это делаете сейчас, ваша компания уверенно движется к тому, чтобы пользоваться всеми преимуществами, которые дает современный стек данных. Следующий шаг - собрать вместе основных заинтересованных сторон и начать обсуждение. Затем, благодаря всеобщей поддержке, ваша компания может начать планирование и в конечном итоге внедрить MDS, который раскрывает реальную мощь данных, которые вы так долго ждали исследовать.