Публикации по теме 'apache-storm'
Обзор Apache Storm: что это такое, архитектура и причины использования
Данные вездесущи, и с ростом цифровизации каждый день возникают новые проблемы, связанные с управлением и обработкой данных.
Доступ к данным в режиме реального времени может показаться «приятным», но для организации со значительными инвестициями в цифровую сферу это почти необходимость.
Какие лидеры отрасли используют Apache Storm?
Часто данные, которые не анализируются в данный момент времени, могут вскоре стать ненужными для компаний. Анализ данных для выявления закономерностей,..
Apache Storm и Twitter Heron
Twitter Heron — это альтернатива Apache Storm с совместимым API, так как он был разработан на основе Apache Storm. Основное отличие, которое я обнаружил, заключалось в том, что Heron решил избавиться от потоков и перейти к рабочим процессам. Это удивительно, и я не уверен, что это будет иметь какие-либо преимущества перед Threads + Process.
Heron также покончил с DRPC, а это единственное, что мне нужно для обеспечения прямого доступа к кластеру Storm. Я не видел, чтобы упоминалась..
Вопросы по теме 'apache-storm'
Невозможно создать файл во время выполнения в Linux с использованием кода Java
Я компилирую проект maven для запуска Storm Topology на Linux-машине.
Ниже приведен метод в классе Bolt, здесь я хочу создать файл во время выполнения, где буферизованный считыватель будет собирать данные из ввода и записывать их в файл....
1174 просмотров
schedule
19.03.2023
Сколько кортежей в одном пакете допустимо в Storm?
Я новичок в Шторме. Когда я пробую трезубец с учебным примером, обычно это очень небольшое количество кортежей в одном пакете (обычно не более 10). Trident стремится обеспечить высокую пропускную способность, говорит миллионы сообщений в секунду....
512 просмотров
schedule
26.08.2022
Нужен совет по подходящей очереди сообщений для Storm spout
Я разрабатываю прототип лямбда-системы , и мои данные передаются через Flume в HDFS. Мне также нужно получить данные в Storm. Flume — это push-система, а Storm — более привлекательная, поэтому я не думаю, что разумно пытаться подключить носик к...
1553 просмотров
schedule
18.08.2023
Storm-Kafka с несколькими носиками, как распределить нагрузку?
Я пытаюсь разделить задачу между несколькими носиками. У меня есть ситуация, когда я получаю по одному кортежу/сообщению за раз из внешнего источника, и я хочу иметь несколько экземпляров носика, основное намерение - разделить нагрузку и повысить...
11057 просмотров
schedule
10.11.2022
Чтобы передать значение в запрос DRPC от выходного коллектора spout?
Я пытаюсь внедрить Trident+DRPC. Я разработал топологию таким образом, чтобы она не работала бесконечно. У меня есть два отдельных класса: один для реализации носика, а другой для реализации DRPC и Trident. Мой класс носика (носик, который...
1495 просмотров
schedule
05.06.2022
Добавить внешний источник данных в Storm
Я новичок в Apache Storm. Я в настоящее время сделал задачу подсчета слов. В настоящее время мой источник данных (файл, содержащий слова) находится в моей локальной системе. Но теперь мне нужно, чтобы этот файл находился во внешней системе. то...
138 просмотров
schedule
31.03.2023
обработка данных шторма очень медленная
У нас есть 1 носик и 1 болт на одном узле. Spout считывает данные из RabbitMQ и передает их единственному болту, который записывает данные в Cassandra.
Наш источник данных генерирует 10000 сообщений в секунду, и шторм занимает около 10 секунд,...
3356 просмотров
schedule
03.05.2022
Получение сообщений от кафки с помощью шторма
Как получить время последнего смещения от zookeeper? при чтении сообщений от кафки с помощью штормового излива. Контекст: Kafka получает сообщения непрерывно, потребитель какое-то время читает, а затем выключается по любой причине, а затем...
773 просмотров
schedule
26.05.2023
ОШИБКА backtype.storm.util - Асинхронный цикл прервался
Я абсолютный новичок в штурме. Это пример из начала работы со storm (книга). Пример счетчика слов. Я использую Storm локально, и когда я запускаю этот пример с помощью maven, я получаю эту ошибку. Использование команды Maven:
[knk@kinock...
5467 просмотров
schedule
29.11.2022
Storm не найден для отправки топологии?
У меня возникла проблема в storm jar при отправке топологии, так как я стою
storm starter/src/jvm/storm/starter/
я написал
storm jar ExclamationTopology.jar storm.starter.ExclamationTopology arg1
напечатанный
команда шторма не...
1580 просмотров
schedule
10.07.2023
Как увидеть ввод и вывод в шторме
Я установил Apache Storm, а также выполнил пример топологии подсчета слов . . Но не было показано ни ввода, ни вывода. Как я могу это увидеть?
3026 просмотров
schedule
27.11.2023
Ребаланс в Trident
Мне интересно, как лучше всего перебалансировать топологию Trident? Топология Storm Trident, кажется, устанавливает количество задач в соответствии с намеками на параллелизм потока. Когда я запускаю команду перебалансировки, я не могу увеличить...
228 просмотров
schedule
11.03.2023
Не удалось найти основной класс при запуске Storm Topology
Я использую класс storm jar для отправки топологии в "nimbus". Он отлично работает локально, но в удаленном кластере он говорит, что не может загрузить основной класс. Ниже ошибка
stderr: SLF4J: Class path contains multiple SLF4J bindings....
6849 просмотров
schedule
26.12.2022
Пример Storm, работающий даже без процессов zookeeper, nimbus и супервизора
Я настроил узел storm на 1 машине, следуя инструкциям, приведенным здесь
Я запустил процессы zookeeper, nimbus и супервизор согласно инструкции. Затем я нашел примеры штормов здесь и здесь , скомпилировал их (используя maven ) и запустил...
762 просмотров
schedule
14.02.2023
Носик не получает подтверждение
В одной из наших топологий, содержащих 1 патрубок и 1 болт, у меня было предчувствие, что болты завершаются нормально (и отпираются), но патрубки все еще не работают.
Я попытался подтвердить это с помощью TaskHook, как показано ниже:
public class...
1871 просмотров
schedule
25.08.2022
Интеграция Storm и Spring 4
У меня есть прототип штормового приложения, которое читает поток STOMP и сохраняет вывод в HBase. Он работает, но не очень гибкий, и я пытаюсь настроить его более согласованным образом с остальными нашими приложениями, но мне не очень удается...
7822 просмотров
schedule
05.02.2023
Получение ошибки при запуске штормового соединения с accumulo
У меня есть Storm Bolt, как показано ниже,
package storm.bolt;
import java.util.Map;
import org.apache.accumulo.core.client.AccumuloException;
import org.apache.accumulo.core.client.AccumuloSecurityException;
import...
2761 просмотров
schedule
20.12.2022
Вставка строк в HBase с помощью Storm bolt
Я хотел бы иметь возможность писать новые записи в HBase из распределенной (не локальной) топологии Storm. Существует несколько проектов GitHub, которые предоставляют либо HBase Mappers , либо готовые болты Storm для записи кортежей в HBase. Эти...
2952 просмотров
schedule
01.01.2024
Динамическое соединение Кассандры в Storm Bolt
Я запускаю топологию Storm, которая считывает данные с брокера Kafka и записывает их в Cassandra. Один из моих болтов Cassandra выполняет операции чтения и записи. Мое пространство ключей всегда устанавливается динамически. Теперь я хочу...
1020 просмотров
schedule
28.02.2023
Время обработки шторма
Как я могу получить время обработки (сек) для всех болтов в топологии, когда у меня есть некоторое количество кортежей? Я хотел бы проверить производительность шторма с помощью количества кортежей/времени/узлов.
54 просмотров
schedule
11.07.2022