Мы также выпустили 0.4.0, но 0.4.1 вышла так быстро, что мы вообще пропускаем анонс 0.4.0.

Новейшая версия службы персонализации с открытым исходным кодом Metarank привносит важную особенность в развертывание Metarank: мы поддерживаем развертывание kubernetes (или k8s, если хотите) из коробки!

Давайте углубимся в это изменение и некоторые другие обновления, которые мы сделали.

поддержка k8s из коробки

До 0.4.1 можно было развернуть Metarank в кластере k8s, так как у нас уже была поддержка Docker, однако процесс был сложным и по пути было несколько предостережений.

Есть несколько предварительных условий, которые должны быть выполнены для запуска Metarank в вашем кластере k8s:

  • Redis, который используется в качестве базы данных для хранилища функций.
  • Распределенная файловая система для данных начальной загрузки (вы можете использовать любое совместимое с S3 хранилище)
  • Автобус событий, такой как Kinesis, Pulsar или Kafka. В качестве альтернативы вы можете использовать API REST обратной связи Metarank.

Ознакомьтесь с полной документацией для более глубокого понимания того, как Metarank интегрируется в экосистему k8s и каковы точные шаги, чтобы запустить его.

Kinesis stream как источник

До версии 0.4.1 у нас было несколько уже доступных источников данных для начальной загрузки или этапов вывода: файлы, Rest API, Apache Kafka и Apache Pulsar.

В этом выпуске мы представляем поддержку AWS Kinesis — популярного инструмента для потоковой передачи данных, если вы используете стек AWS.

Наш коннектор поддерживает как этап начальной загрузки, так и этап вывода, однако имейте в виду, что из-за ограничений самого Kinesis вы не сможете использовать для начальной загрузки данные старше 7 дней. Кроме того, пропускная способность ограничена 2 Мбит/с, что может быть проблематично для больших наборов данных. Однако в этом случае вы можете рассмотреть возможность использования потребителя AWS EFO.

Конфигурация для Kinesis Connector похожа на другие, но вы также можете указать пользовательские параметры для потребителя EFO, если он у вас есть:

Мы постоянно работаем над тем, чтобы предоставить больше коннекторов данных, если у вас есть какие-то особые потребности, не стесняйтесь обращаться к нам в Slack!

Конфигурируемый разъем Flink

Теперь можно передавать дополнительную конфигурацию коннектору flink через параметр options различных источников данных. Например, дополнительные параметры используются для настройки потребителя EFO для соединителя AWS Kinesis.

Что дальше?

У нас есть еще идеи, так что следите за обновлениями!