Вопросы по теме 'flink-batch'
как выполнять запросы sql во время выполнения из карты потока данных или flatMap во flink
Я новичок в мигании и хочу понять, как запустить мой вариант использования с FLINK: приложение имеет три источника входных данных: а) исторические данные; б) получить все живые события от кафки; в) получить управляющее событие, которое будет иметь...
289 просмотров
schedule
09.05.2022
Flink требует локального пути для каталога hive conf, но как указать этот путь, если мы отправляем задание flink на пряжу?
https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/hive/#connecting-to-hive Согласно этой ссылке, Flink требует локального пути к папке conf hive, но мне нужно отправить Flink работа с пряжей, поэтому Flink попытается найти путь в...
25 просмотров
schedule
15.04.2024
Комбинация Flink windowByTime и triggerByCount
source.keyBy(0)
.window(TumblingEventTimeWindows.of(Time.seconds(5)))
.trigger(PurgingTrigger.of(CountTrigger.of[TimeWindow](2)))
.process(new TestFun())
Объяснение:
Допустим, у меня есть 3 события [E1, E2, E3], которые должны...
60 просмотров
schedule
24.06.2023
Flink - несколько экземпляров развертывания приложения flink на кубернетах
Мне нужна помощь по развертыванию приложения Flink на K8
у нас есть 3 источника, которые будут отправлять условие триггера в виде SQL-запросов. Общее количество запросов ~ 3-6k и большая нагрузка на экземпляр flink. Я пытаюсь выполнить, но это...
138 просмотров
schedule
20.03.2023
Коннектор источника эластичного поиска Flink
Я новичок в интеграции Flink и Elastic Search. У меня есть сценарий, в котором мне нужно загрузить данные истории (примерно 1 ТБ) из старого эластичного поискового кластера (5.6) в новый кластер (6.8). Мне нужно выполнить некоторую фильтрацию и...
185 просмотров
schedule
07.12.2023
Apache Flink динамически обновляет sql без перезапуска
У меня есть вопрос относительно поведения Flink. Ниже мой фрагмент кода. Как видите, некая служба предоставляет список критериев sql (скажем, около 10 тыс. Sql), которые Flink будет выполнять один за другим. Моя проблема в том, что всякий раз,...
52 просмотров
schedule
28.05.2023