Вопросы по теме 'amazon-kinesis'
Добавить данные во внешнюю таблицу Hive
Я следую руководству по потоковой передаче данных из Amazon Kinesis в Hive на Amazon EMR. Мне удалось сделать это с внутренней таблицей Hive, но когда я пытаюсь сделать то же самое с внешней таблицей, я сталкиваюсь со странной ошибкой EOF. Раньше я...
435 просмотров
schedule
11.07.2022
Как проверить, что клиент Amazon Kinesis Python работает
Я пытаюсь создать потребителя Amazon Kinesis Python, используя библиотеку KCL для Python ( https://github.com/awslabs/amazon-kinesis-client-python ). Я начал с проверки образца кода. Мне удалось запустить части примера кода как для сценариев...
1291 просмотров
schedule
07.08.2022
Как поместить запись 25k в поток Kinesis и инструмент тестирования, чтобы подтвердить это
Я разработал программу, которая записывает запись в веб-службу Amazon kinesis Stream. Я пытаюсь понять, есть ли у нас какой-либо программный инструмент, который позволит мне измерить максимальную пропускную способность, которую мой код генерирует для...
2642 просмотров
schedule
10.05.2022
Ключ раздела Kinesis всегда находится в одном сегменте
У меня есть поток кинезиса с двумя осколками, который выглядит так:
{
"StreamDescription": {
"StreamStatus": "ACTIVE",
"StreamName": "my-stream",
"Shards": [
{
"ShardId":...
3112 просмотров
schedule
21.09.2022
Как получить доступ к Kinesis ApproximateArrivalTime в выражении AWS Lambda
Я пытаюсь получить доступ к полю ApproximateArrivalTimestamp данных Kinesis запись из AWS Lambda. Поле было добавлено снова в сентябре .
Я вижу, что поле ApproximateArrivalTime необязательно. В моей лямбде я выводю список всех доступных...
239 просмотров
schedule
12.06.2023
Amazon-Kinesis: поставьте запись на каждый сегмент
У меня есть поток Amazon Kinesis, состоящий из нескольких сегментов. Количество осколков и, следовательно, количество потребителей не является константой.
Существует нечастый тип события, которое я хочу транслировать каждому потребителю в потоке....
1856 просмотров
schedule
07.05.2023
Как изменить порядок асинхронно отправляемых событий Kinesis в KCL
Я работаю над приложением, которое считывает и обрабатывает события из AWS Kinesis Stream с помощью клиентской библиотеки Kinesis (KCL). Я не хочу, чтобы сторона производителя событий страдала от задержки, поэтому для отправки событий использовался...
644 просмотров
schedule
13.03.2023
AWS Kinesis читает из прошлого
Как мы читаем из потока AWS Kinesis, возвращаясь во времени? Используя поток AWS Kinesis, можно отправлять поток событий, а приложение-потребитель может читать события. Рабочий Kinesis Stream извлекает записи и передает их в IRecordProcessor #...
1436 просмотров
schedule
19.09.2023
Рассчитать сквозное время для серии потоков kinesis, за которыми следуют лямбда-выражения
У нас есть система, которая принимает входную запись и применяет ряд преобразований, используя ряд кинетических потоков и лямбда-выражений, работающих с ней.
KinesisStream --> InputRecord --> Lambda1/Lambda2, работающие параллельно --> Output1...
97 просмотров
schedule
22.12.2022
Для чего используется параметр размера страницы в интерфейсе командной строки AWS при описании потока
Мне нужно понять, для чего используется параметр page-size с командой describe-stream AWS CLI?
В документации AWS просто сказано: Размер каждой страницы
Ссылка: http://docs.amazonaws.cn/cli/latest/reference/kinesis/describe-stream.html
972 просмотров
schedule
07.06.2022
Подходит ли Kinesis для моих нужд? (и другие разные вопросы)
Мне нужно обрабатывать на пике 100 записей в секунду. Эти записи представляют собой простые тела JSON, и их следует собирать, а затем обрабатывать/преобразовывать в базу данных.
Несколько вопросов ...
1) Подходит ли Kinesis для этого? Или SQS...
305 просмотров
schedule
10.04.2023
Управление версиями данных AWS Kinesis и Lambda
Я создал конечную точку AWS Firehose (может измениться на простой Kinesis), которая получает журналы от производителей и сохраняет их в корзину S3, и лямбда-функцию, которая потребляет данные, обрабатывает их и сохраняет выходные данные в db.
Все...
390 просмотров
schedule
03.05.2022
Получение ошибок в программе Java для записи в поток Kinesis Firehose
Я пытаюсь просто записать некоторые данные из API (API акций/финансов Google) в свой поток AWS Firehose. Я уже загрузил и установил плагин AWS на Eclipse, настроил свой поток Firehose на AWS, и, кажется, все настроено правильно. Однако я сталкиваюсь...
1114 просмотров
schedule
17.07.2023
Как заставить CloudFormation соблюдать ограничения одновременного создания потоков Kinesis
У меня есть стек CloudFormation, содержащий несколько потоков Kinesis. Если во время создания или обновления количество потоков меньше 5, проблем нет. Если у меня их больше 5, возникает ошибка и откатывается весь стек.
Проблема усугубляется тем,...
376 просмотров
schedule
05.03.2023
Производительность Redshift: SQL-запросы против нормализации таблиц
Я работаю над созданием базы данных красных смещений, слушая события из разных источников и перекачивая эти данные в кластер красных смещений.
Идея состоит в том, чтобы использовать пожарный шланг Kinesis для перекачки данных в красное смещение с...
433 просмотров
schedule
22.09.2022
aws cli поставить рекорд для Kinesis
Я пытаюсь записать данные в AWS Kinesis с помощью интерфейса командной строки, но это не работает:
aws kinesis put-record --stream-name my-stream-name --data Data=jose|12
Я получаю сообщение об ошибке «bash: 12: команда не найдена».
aws...
5720 просмотров
schedule
24.04.2022
AWS RDS в AWS ES
Требование . При вставке/обновлении определенной таблицы создайте поток данных и передайте его в эластичный поиск.
Мысль AWS RDS(MariaDb) ----- вставить/обновить, чтобы сказать пользовательскую таблицу ---> Поток AWS Kinesis -- с...
1724 просмотров
schedule
27.03.2023
Amazon Kinesis — определение времени ожидания шага
Попытка создать запрос Kinesis Analytics, чтобы предупредить, когда шаг в процессе занял слишком много времени (или умер и не продвинулся дальше).
У меня есть поток данных, который содержит обновления статуса, поскольку многоэтапный процесс...
78 просмотров
schedule
01.08.2023
как избежать исключения тайм-аута при индексации данных в elasticsearch с одновременными запросами?
мы индексируем данные в elasticsearch с использованием java API, и архитектура похожа на то, что несколько приложений могут работать одновременно, поэтому к ES может быть сделано много одновременных запросов, из-за которых возникает исключение...
153 просмотров
schedule
25.06.2022
Kinesis Firehose помещает объекты JSON в S3 без запятой-разделителя
Перед отправкой данных я использую JSON.stringify для данных, и это выглядит так
{"data": [{"key1": value1, "key2": value2}, {"key1": value1, "key2": value2}]}
Но как только он проходит через AWS API Gateway и Kinesis Firehose переводит его...
5974 просмотров
schedule
06.08.2023
