Публикации по теме 'apache-nifi'
Потоковая передача данных из MSSQL в Anodot с использованием Apache NiFi
Многие компании сегодня хотят большей наглядности и более качественных и точных знаний о своих центрах обработки данных и бизнесе. Отправка данных в стандартные инструменты мониторинга просто не работает. Когда-то создание статических оповещений было стандартом для каждого DevOps/IT. Это давало нам ощущение, что мы «знаем» систему и можем спокойно спать по ночам: «Мы получим предупредить, если что-то случится»
Сегодня мы знаем, что это не совсем так.
Допустим, у вас есть веб-сайт..
Вопросы по теме 'apache-nifi'
Как использовать Apache Nifi для запроса REST API?
Для проекта мне нужно разработать процесс ETL (извлечение нагрузки преобразования), который считывает данные из (устаревшего) инструмента, который предоставляет свои данные в REST API. Эти данные необходимо хранить в amazon S3.
Мне очень нравится...
7199 просмотров
schedule
28.05.2023
Доступ к значениям массива в Nifi
У меня есть массив json, который выглядит как
{
[
{
"name": "ABCDEF",
"details": {
"code": null,
"description": null,
"range": {
"fromNo": "00174",
"toNo": "99999"
}
}
}, {...
1533 просмотров
schedule
03.04.2023
Процедура извлечения данных из Facebook в Hadoop с использованием процессоров NiFi
Есть ли какой-либо возможный способ получить данные facebook в hdfs с помощью процессоров NiFi? Я не нашел пока ни одного источника или образца по этому делу ... Если это возможно? Какая будет процедура?
1054 просмотров
schedule
28.08.2022
Сборка Apache Nifi — отсутствует SNMP nar
Я пытаюсь собрать Apache Nifi локально на своем компьютере с Windows, следуя приведенным здесь инструкциям: https://nifi.apache.org/quickstart.html .
Столкнулся со следующей проблемой:
Не удалось выполнить цель проекта nifi-snmp-nar: не...
117 просмотров
schedule
30.11.2022
Есть ли способ импортировать резервные копии в NiFi?
Есть ли способ импортировать резервные копии / архивы с помощью NiFi v0.6.1?
И под резервными копиями я имею в виду файлы, которые создаются, когда вы вызываете POST /controller/archive с помощью REST api или «Настройки контроллера» (кнопка на...
4376 просмотров
schedule
28.05.2023
Ведение журнала полезной нагрузки JSON в Apache NiFi из запроса POST приложения Java
Я новичок в Apache NiFi, и я разработал приложение для отправки данных JSON на конечную точку NiFi через HTTP-запрос POST.
В Apache NiFi у меня есть процессор HandleHTTPRequest, подключенный к процессору PutFile, а затем к процессору...
919 просмотров
schedule
06.05.2024
как вы сохраняете файл csv или JSON для улья с помощью apache NiFi?
Я заметил, что в nifi нет процессора, который мог бы напрямую сохранять файл в куст. есть ли какая-либо комбинация процессоров, которые могут помочь с этим, или есть ли какие-либо шаблоны, которые могут это сделать?
Спасибо.
1519 просмотров
schedule
01.07.2023
Apache Нифи на QNX
Я читал о возможностях Apache Nifi. В этой статье http://www.zdnet.com/article/hortonworks-cto-on-apache-nifi-what-is-it-and-why-does-it-matter-to-iot/
и на веб-сайте Hortonworks есть примеры использования Nifi при моделировании событий...
108 просмотров
schedule
27.10.2022
Когда использовать session.commit () в процессоре NiFi
Я использую процессор NiFi, и мне нужно сделать несколько пояснений в отношении передовых методов:
session.getProvenanceReporter (). modify (...) - Должны ли мы генерировать событие сразу после каждого сеанса .transfer ()
session.commit () - в...
1862 просмотров
schedule
25.06.2022
Процессор PutSQL Nifi не отправляет данные
У меня процессор работает 24 часа. В разные моменты (у меня 3 разных процессора PutSQL на одной и той же службе пула соединений) данные перестали отправляться в sql. Теперь я вижу данные, поступающие в процессор, но ничего не выходит
1419 просмотров
schedule
24.09.2022
Ошибки сборки NiFi
Я пытаюсь создать Apache NiFi после его клонирования с https://github.com/apache/nifi и он продолжает терпеть неудачу на тестах в проекте nifi-standard-processors. Я открыл выходной файл в каталоге surefire-reports и обнаружил следующую ошибку: он...
863 просмотров
schedule
05.05.2022
Извлеките данные из Hive на SQL Server без дубликатов с помощью Apache Nifi
Извините, я новичок в Apache Nifi. Итак, я создал поток данных для извлечения данных из Hive и сохранения их в SQL. В моем потоке данных нет ошибок, единственная проблема заключается в том, что он постоянно извлекает данные.
Мой поток данных...
620 просмотров
schedule
13.08.2022
как динамически передавать значения в Apache NiFi из executeSQL в SelectHiveQL
У меня есть две таблицы: одна в mysql test.employee, а другая - в улье default.dept. Я хочу передать empid таблицы test.employee в качестве параметра для запроса в таблице улья и сохранения данных в HDFS.
ExecuteSQL -> выберите empid из...
3561 просмотров
schedule
06.02.2023
подключить SQL к apache nifi
Я новичок в nifi, и я хочу подключить базу данных SQL-сервера к nifi и создать поток данных с процессорами. как я могу это сделать, может кто-нибудь Помогите мне с этим ясно.
Спасибо заранее, сэм
17594 просмотров
schedule
14.11.2022
Ввод данных в HDFS с помощью Nifi - нет доступа к файлам
Итак, я впервые использую NiFi. Я пытаюсь использовать его для вызова API, а затем для передачи данных в HDFS (Hortonworks Sandbox 2.4). Сейчас я использую всего 2 процессора: GetHTTP и PutHDFS.
Кажется, у меня оба процессора настроены нормально...
1431 просмотров
schedule
14.09.2022
Формат / ошибка PutCassandraQL «Контактная точка Cassandra» в Nifi
Я использую Nifi 1.1.1 и пытаюсь поместить данные с помощью процессора PutCassandraQL, но получаю
datastax.driver.core.exceptions.Transport exception: [null] Не удается подключиться
при попытке варианта: node-0:servername.com:PORT,...
381 просмотров
schedule
08.10.2022
Apache NiFi: InferAvroSchema выводит значения со знаком в виде строки
Я настраиваю конвейер в NiFi, где я получаю записи JSON, которые затем использую для отправки запроса к API. Ответ, который я получу, будет содержать как числовые, так и текстовые данные. Затем я должен записать эти данные в Hive. Я использую...
376 просмотров
schedule
04.06.2023
Управление чтением Nifi из 3 таблиц для объединения содержимого из всех таблиц
Я пытаюсь прочитать новые записи в 3 таблицах HBase (используя процессор GetHBase) и объединить их в один JSON. Но каждый процессор GetHBase запускается, как только происходит новая вставка в его соответствующие таблицы. В конце концов, после...
380 просмотров
schedule
28.07.2023
ошибка при вызове аргумента function() баз метакласса 1 должен быть кодом, а не str
Я выполнил это, чтобы настроить twilio: https://www.fullstackpython.com/blog/send-sms-text-messages-python.html
Импорт, кажется, работает, когда я запускаю локально, используя python send_sms.py
Затем я использую процессор Apache Nifi...
510 просмотров
schedule
20.04.2022
Добавление Apache NiFi в существующий кластер Hortonworks HDP
У меня есть кластер с 6 узлами, на котором запущены Hortonworks HDP 2.5.3 и Ambari 2.4.2.0.
Я хочу установить Apache NiFi в этом кластере. При просмотре документации , мне на глаза бросается следующая строка:
1.1. Требования к...
4700 просмотров
schedule
23.11.2022
