У меня есть поток Amazon Kinesis, состоящий из нескольких сегментов. Количество осколков и, следовательно, количество потребителей не является константой.
Существует нечастый тип события, которое я хочу транслировать каждому потребителю в потоке.
Есть ли у продюсера способ транслировать запись, то есть обнаружить осколки и поставить запись на каждый из них?
Ты можешь сделать это! Что-то вроде...
Хитрость в том, чтобы использовать параметр «ExplicitHashKey».
Это позволяет вам установить хэш-ключ, используемый для записи, и, следовательно, позволяет выбрать, в каком сегменте будут храниться ваши данные.
Затем вы можете позвонить
aws kinesis describe-stream --stream-name name-of-your-stream
чтобы получить информацию о каждом осколке, включая диапазон хэшей, покрываемый каждым осколком.
Затем вам нужно только отправить свои данные на каждый сегмент (с помощью PutRecord или PutRecords), и все готово.
К сожалению, «трансляции» нет, но вы можете легко написать Lambda для отправки одних и тех же данных на каждый шард, используя параметр ExplicitHashKey.
Другое решение — использовать отдельные потоки и записывать в каждый из них.
