Мы также выпустили 0.4.0, но 0.4.1 вышла так быстро, что мы вообще пропускаем анонс 0.4.0.
Новейшая версия службы персонализации с открытым исходным кодом Metarank привносит важную особенность в развертывание Metarank: мы поддерживаем развертывание kubernetes (или k8s, если хотите) из коробки!
Давайте углубимся в это изменение и некоторые другие обновления, которые мы сделали.
поддержка k8s из коробки
До 0.4.1 можно было развернуть Metarank в кластере k8s, так как у нас уже была поддержка Docker, однако процесс был сложным и по пути было несколько предостережений.
Есть несколько предварительных условий, которые должны быть выполнены для запуска Metarank в вашем кластере k8s:
- Redis, который используется в качестве базы данных для хранилища функций.
- Распределенная файловая система для данных начальной загрузки (вы можете использовать любое совместимое с S3 хранилище)
- Автобус событий, такой как Kinesis, Pulsar или Kafka. В качестве альтернативы вы можете использовать API REST обратной связи Metarank.
Ознакомьтесь с полной документацией для более глубокого понимания того, как Metarank интегрируется в экосистему k8s и каковы точные шаги, чтобы запустить его.
Kinesis stream как источник
До версии 0.4.1 у нас было несколько уже доступных источников данных для начальной загрузки или этапов вывода: файлы, Rest API, Apache Kafka и Apache Pulsar.
В этом выпуске мы представляем поддержку AWS Kinesis — популярного инструмента для потоковой передачи данных, если вы используете стек AWS.
Наш коннектор поддерживает как этап начальной загрузки, так и этап вывода, однако имейте в виду, что из-за ограничений самого Kinesis вы не сможете использовать для начальной загрузки данные старше 7 дней. Кроме того, пропускная способность ограничена 2 Мбит/с, что может быть проблематично для больших наборов данных. Однако в этом случае вы можете рассмотреть возможность использования потребителя AWS EFO.
Конфигурация для Kinesis Connector похожа на другие, но вы также можете указать пользовательские параметры для потребителя EFO, если он у вас есть:
Мы постоянно работаем над тем, чтобы предоставить больше коннекторов данных, если у вас есть какие-то особые потребности, не стесняйтесь обращаться к нам в Slack!
Конфигурируемый разъем Flink
Теперь можно передавать дополнительную конфигурацию коннектору flink через параметр options
различных источников данных. Например, дополнительные параметры используются для настройки потребителя EFO для соединителя AWS Kinesis.
Что дальше?
У нас есть еще идеи, так что следите за обновлениями!