Вопросы по теме 'flink-sql'
Apache Flink: как запросить реляционную базу данных с помощью API таблиц?
Следующий фрагмент кода взят из этого сообщения в блоге :
val sensorTable = ??? // can be a CSV file, Kafka topic, database, or ...
// register the table source
tEnv.registerTableSource("sensors", sensorTable)
Я хочу читать данные из...
1591 просмотров
schedule
17.11.2022
Заказ Flink Stream SQL по
У меня есть потоковый ввод, например, данные о ценах акций (включая несколько акций), и я хочу выполнять ранжирование по их цене каждые 1 минуту. Рейтинг основан на последней цене всех акций и должен отсортировать их все, независимо от того,...
1067 просмотров
schedule
24.05.2023
Регистрация агрегированного UDF в Apache Flink
Я пытаюсь выполнить шаги, здесь , чтобы создать базовую UDF-функцию Flink Aggregate. Я добавил зависимости () и реализовал
public class MyAggregate extends AggregateFunction<Long, TestAgg> {..}
Я реализовал обязательные методы, а...
407 просмотров
schedule
16.12.2022
Apache Flink: проблема с производительностью при выполнении большого количества заданий
При большом количестве запросов Flink SQL (100 из нижеприведенных) клиент командной строки Flink дает сбой «JobManager не ответил в течение 600000 мс» в кластере Yarn, т.е. задание никогда не запускается в кластере.
Журналы JobManager не содержат...
463 просмотров
schedule
10.04.2024
Установить динамический путь для контрольной точки Flink для задания Flink в Yarn Cluser
Я использую Yarn для выполнения заданий Flink. Для каждого задания Flink я создаю контрольную точку.
Я отправляю задание Flink, которое выполняется в моем кластере Yarn. У меня есть задание на опрос, которое проверяет, не удалось ли выполнить...
543 просмотров
schedule
25.03.2023
Динамическое масштабирование Flink 1.5
Это касается динамического масштабирования в Flink 1.5.
Я использую Yarn для выполнения заданий Flink. Я начинаю эти работы со статическим ресурсом. Есть ли возможность масштабировать эту работу отдельно в определенных условиях, например, при...
565 просмотров
schedule
18.09.2022
Flink Autojoin со столбцом времени строки
У меня есть таблица Flink со следующей структурой:
Id1, Id2, myTimestamp, value
Где время строки основано на myTimestamp .
У меня хорошо работает следующая обработка:
Table processed = tableEnv.sqlQuery("SELECT " +...
268 просмотров
schedule
27.06.2022
Состояние трансляции Flink с более чем одним параллелизмом
Позвольте мне рассказать об этом, я очень новичок во Flink и стараюсь уловить как можно больше концепций.
Допустим, у меня есть флинк-кластер с 10 диспетчерами задач. У меня есть работа над каждым из них. Задание также использует...
240 просмотров
schedule
06.05.2022
Применение правил на основе окон в потоке Apache Flink Broadcast
У меня есть набор правил в моем BroadcastStream в Apache Flink. Я могу применять новые правила по мере их появления в моем потоке событий. Но я не могу понять, как я могу реализовать, если мои правила похожи
rule 1> alert when count of event...
240 просмотров
schedule
20.02.2023
Flink: Левое присоединение к потоку со статическим списком
Я хочу присоединиться к потоковой передаче попыток в статический список заблокированных писем и сгруппировать результат по IP, чтобы позже я мог подсчитать пакет соответствующей статистики. Результат должен отображаться в виде скользящего окна...
711 просмотров
schedule
01.07.2022
Результат запроса Apache Flink Table в виде строковых значений
Я пишу запрос из api таблицы flink для получения записи. Затем проверьте, была ли найдена запись, и если да, получите строковое значение каждого значения столбца записи.
i.e.
users:
|id | name | phone |
|---|------|-------|
| 01| sam |...
452 просмотров
schedule
14.02.2024
как выполнять запросы sql во время выполнения из карты потока данных или flatMap во flink
Я новичок в мигании и хочу понять, как запустить мой вариант использования с FLINK: приложение имеет три источника входных данных: а) исторические данные; б) получить все живые события от кафки; в) получить управляющее событие, которое будет иметь...
289 просмотров
schedule
09.05.2022
Комбинация Flink windowByTime и triggerByCount
source.keyBy(0)
.window(TumblingEventTimeWindows.of(Time.seconds(5)))
.trigger(PurgingTrigger.of(CountTrigger.of[TimeWindow](2)))
.process(new TestFun())
Объяснение:
Допустим, у меня есть 3 события [E1, E2, E3], которые должны...
60 просмотров
schedule
24.06.2023
Flink - несколько экземпляров развертывания приложения flink на кубернетах
Мне нужна помощь по развертыванию приложения Flink на K8
у нас есть 3 источника, которые будут отправлять условие триггера в виде SQL-запросов. Общее количество запросов ~ 3-6k и большая нагрузка на экземпляр flink. Я пытаюсь выполнить, но это...
138 просмотров
schedule
20.03.2023
Исключение в Flink TableAPI
Я пытаюсь выполнить простое задание Flink для подсчета слов с помощью TableAPI. Использовал API DataStream для чтения потока данных и использовал API StreamTableEnvironment для создания среды таблиц. Я получаю исключение ниже. Может кто-нибудь...
75 просмотров
schedule
27.06.2022
Apache Flink динамически обновляет sql без перезапуска
У меня есть вопрос относительно поведения Flink. Ниже мой фрагмент кода. Как видите, некая служба предоставляет список критериев sql (скажем, около 10 тыс. Sql), которые Flink будет выполнять один за другим. Моя проблема в том, что всякий раз,...
52 просмотров
schedule
28.05.2023
Python Flink подключается к удаленной среде Flink
У меня есть система flink, работающая в удаленной системе ... скажем, с IP как 10.XX.XX.XX и портом как 6123. Теперь я хотел бы подключиться из другой системы, используя Pyflink, используя RemoteExecution Environment. Я видел документы...
66 просмотров
schedule
27.12.2022
