Мне нужно обрабатывать на пике 100 записей в секунду. Эти записи представляют собой простые тела JSON, и их следует собирать, а затем обрабатывать/преобразовывать в базу данных.
Несколько вопросов ...
1) Подходит ли Kinesis для этого? Или SQS лучше подходит?
2) При использовании kinesis хочу ли я использовать примеры Python, как показано здесь: https://aws.amazon.com/blogs/big-data/snakes-in-the-stream-feeding-and-eating-amazon-kinesis-streams-with-python/ или мне следует реализовать своего производителя и потребителя в KCL? Какая разница?
3) Предлагает ли Kinesis что-либо для управления потребителями, или я просто запускаю их на инстансах EC2 и управляю ими самостоятельно?
4) Каков правильный шаблон для доступа к данным - я не могу позволить себе пропустить какие-либо записи, поэтому я предполагаю, что буду извлекать записи из «TRIM_HORIZON», а не «LATEST». Если да, то как мне управлять дубликатами? Другими словами, как мои потребители получают записи из потока и обрабатывают потребителей, которые отключаются, и т. д., и всегда знают, что они извлекают все записи?
Спасибо!
