Вопросы по теме 'flink-batch'

как выполнять запросы sql во время выполнения из карты потока данных или flatMap во flink
Я новичок в мигании и хочу понять, как запустить мой вариант использования с FLINK: приложение имеет три источника входных данных: а) исторические данные; б) получить все живые события от кафки; в) получить управляющее событие, которое будет иметь...
289 просмотров

Flink требует локального пути для каталога hive conf, но как указать этот путь, если мы отправляем задание flink на пряжу?
https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/hive/#connecting-to-hive Согласно этой ссылке, Flink требует локального пути к папке conf hive, но мне нужно отправить Flink работа с пряжей, поэтому Flink попытается найти путь в...
25 просмотров

Комбинация Flink windowByTime и triggerByCount
source.keyBy(0) .window(TumblingEventTimeWindows.of(Time.seconds(5))) .trigger(PurgingTrigger.of(CountTrigger.of[TimeWindow](2))) .process(new TestFun()) Объяснение: Допустим, у меня есть 3 события [E1, E2, E3], которые должны...
60 просмотров

Flink - несколько экземпляров развертывания приложения flink на кубернетах
Мне нужна помощь по развертыванию приложения Flink на K8 у нас есть 3 источника, которые будут отправлять условие триггера в виде SQL-запросов. Общее количество запросов ~ 3-6k и большая нагрузка на экземпляр flink. Я пытаюсь выполнить, но это...
138 просмотров

Коннектор источника эластичного поиска Flink
Я новичок в интеграции Flink и Elastic Search. У меня есть сценарий, в котором мне нужно загрузить данные истории (примерно 1 ТБ) из старого эластичного поискового кластера (5.6) в новый кластер (6.8). Мне нужно выполнить некоторую фильтрацию и...
185 просмотров

Apache Flink динамически обновляет sql без перезапуска
У меня есть вопрос относительно поведения Flink. Ниже мой фрагмент кода. Как видите, некая служба предоставляет список критериев sql (скажем, около 10 тыс. Sql), которые Flink будет выполнять один за другим. Моя проблема в том, что всякий раз,...
52 просмотров