Вопросы по теме 'flink-cep'
Flink на YARN: Amazon S3 неправильно используется вместо HDFS
Я следил за Flink документацией по установке YARN . . Но когда я запускаю с ./bin/yarn-session.sh -n 2 -jm 1024 -tm 2048 при аутентификации в Kerberos, я получаю следующую ошибку:
2016-06-16 17:46:47,760 WARN...
595 просмотров
schedule
14.06.2022
# Apache-flink: вариант использования для управления данными
Я пытаюсь создать решение для управления данными (DM), включающее прием большого объема данных, прохождение некоторых правил домена данных, замену (обогащение), пометку ошибочных данных перед их отправкой в систему ниже по потоку. Проверка правил и...
330 просмотров
schedule
15.06.2023
Бэкэнд состояния Flink для TaskManager
У меня есть установка Flink v1.2 с 1 диспетчером задач, 2 диспетчера задач, каждый в своей собственной виртуальной машине. Я настроил бэкэнд состояния для файловой системы и указал его на локальное расположение в случае каждого из указанных выше...
528 просмотров
schedule
16.08.2022
Интеграция Flink с Datadog
У меня есть несколько проблем, связанных с интеграцией Flink и Datadog. Во-первых, проблема в том, что Datadog использует dogstatsD вместо statsD, который не включен в документацию Flink.
Другая проблема заключается в том, что если вы...
663 просмотров
schedule
29.10.2022
Фликнуть CEP с файлами и без потоков?
Я пытаюсь использовать CEP Flink для файлов журнала (как пакетное задание), но не для потоков (как в реальном времени). Это возможно ? Если да, знаете ли вы примеры кода Scala по этому поводу?
75 просмотров
schedule
07.01.2023
Динамическое масштабирование Flink 1.5
Это касается динамического масштабирования в Flink 1.5.
Я использую Yarn для выполнения заданий Flink. Я начинаю эти работы со статическим ресурсом. Есть ли возможность масштабировать эту работу отдельно в определенных условиях, например, при...
565 просмотров
schedule
18.09.2022
как добавить новое событие в поток данных флинка CEP?
Я использую flink 1.5.2 для решения проблемы CEP.
мои данные из списка, какой-то другой процесс добавит новый объект Event в этот список во время работы системы. Это не сокет или сетевое сообщение. Читал пример с официального сайта. Вот шаги,...
309 просмотров
schedule
05.04.2023
flink SourceFunction ‹› заменяется в StreamExecutionEnvironment.addSource ()?
Я столкнулся с этой проблемой, когда пытался создать собственный источник события. Которая содержит очередь, которая позволяет другому моему процессу добавлять в нее элементы. Затем ожидайте, что мой шаблон CEP напечатает некоторые отладочные...
676 просмотров
schedule
15.06.2023
FlinkCEP: Могу ли я сослаться на более раннее событие, чтобы определить последующее совпадение?
Вот простой пример:
val pattern =
Pattern.begin[Event]("start").where(_.getId == 42).
next("middle").subtype(classOf[SubEvent]).where(x => x.getVolume == **first event matched**.getVolume) ...
По сути, второму событию («среднему»)...
55 просмотров
schedule
18.04.2023
Состояние диспетчера задач Flink при сбое приложения
Что происходит, когда при обработке события из приложения jar в диспетчер задач возникает исключение ?
а) Flink Job Manager убьет существующий диспетчер задач и создаст новый диспетчер задач?
б) Сам диспетчер задач восстанавливается после...
322 просмотров
schedule
24.04.2022
Как я могу обнаружить паттерн a + b + с помощью Flink CEP
Flink CEP не работает для моего шаблона. У меня есть последовательность например aabbbbaaaabbabb (a + b +). Я хочу, чтобы процесс функции выводил такой результат: {aabbbb} {aaaabb} {abb}
AfterMatchSkipStrategy skipStrategy =...
177 просмотров
schedule
11.06.2022
Применение правил на основе окон в потоке Apache Flink Broadcast
У меня есть набор правил в моем BroadcastStream в Apache Flink. Я могу применять новые правила по мере их появления в моем потоке событий. Но я не могу понять, как я могу реализовать, если мои правила похожи
rule 1> alert when count of event...
240 просмотров
schedule
20.02.2023
Комбинация Flink windowByTime и triggerByCount
source.keyBy(0)
.window(TumblingEventTimeWindows.of(Time.seconds(5)))
.trigger(PurgingTrigger.of(CountTrigger.of[TimeWindow](2)))
.process(new TestFun())
Объяснение:
Допустим, у меня есть 3 события [E1, E2, E3], которые должны...
60 просмотров
schedule
24.06.2023
Проблемы с потребителями при обновлении RocksDB
У меня есть работа, которая потребляет от RabbitMQ, я использовал FS State Backend, но кажется, что размеры состояний стали больше, и затем я решил переместить свои состояния в RocksDB. Проблема в том, что в течение первых часов работы с заданием все...
76 просмотров
schedule
08.04.2022
Проблемы с контрольными точками в Flink 1.10.1 с использованием серверной части состояния RocksDB
У нас возникла очень трудная для наблюдения проблема с нашей работой Flink.
Работа достаточно проста, она:
Читает сообщения от Kinesis с помощью коннектора Flink Kinesis
Сохраняет сообщения и передает их примерно 30 различным операторам CEP, а...
416 просмотров
schedule
11.01.2023
Apache Flink динамически обновляет sql без перезапуска
У меня есть вопрос относительно поведения Flink. Ниже мой фрагмент кода. Как видите, некая служба предоставляет список критериев sql (скажем, около 10 тыс. Sql), которые Flink будет выполнять один за другим. Моя проблема в том, что всякий раз,...
52 просмотров
schedule
28.05.2023
