Публикации по теме 'apache-storm'


Обзор Apache Storm: что это такое, архитектура и причины использования
Данные вездесущи, и с ростом цифровизации каждый день возникают новые проблемы, связанные с управлением и обработкой данных. Доступ к данным в режиме реального времени может показаться «приятным», но для организации со значительными инвестициями в цифровую сферу это почти необходимость. Какие лидеры отрасли используют Apache Storm? Часто данные, которые не анализируются в данный момент времени, могут вскоре стать ненужными для компаний. Анализ данных для выявления закономерностей,..

Apache Storm и Twitter Heron
Twitter Heron — это альтернатива Apache Storm с совместимым API, так как он был разработан на основе Apache Storm. Основное отличие, которое я обнаружил, заключалось в том, что Heron решил избавиться от потоков и перейти к рабочим процессам. Это удивительно, и я не уверен, что это будет иметь какие-либо преимущества перед Threads + Process. Heron также покончил с DRPC, а это единственное, что мне нужно для обеспечения прямого доступа к кластеру Storm. Я не видел, чтобы упоминалась..

Вопросы по теме 'apache-storm'

Невозможно создать файл во время выполнения в Linux с использованием кода Java
Я компилирую проект maven для запуска Storm Topology на Linux-машине. Ниже приведен метод в классе Bolt, здесь я хочу создать файл во время выполнения, где буферизованный считыватель будет собирать данные из ввода и записывать их в файл....
1174 просмотров
schedule 19.03.2023

Сколько кортежей в одном пакете допустимо в Storm?
Я новичок в Шторме. Когда я пробую трезубец с учебным примером, обычно это очень небольшое количество кортежей в одном пакете (обычно не более 10). Trident стремится обеспечить высокую пропускную способность, говорит миллионы сообщений в секунду....
512 просмотров
schedule 26.08.2022

Нужен совет по подходящей очереди сообщений для Storm spout
Я разрабатываю прототип лямбда-системы , и мои данные передаются через Flume в HDFS. Мне также нужно получить данные в Storm. Flume — это push-система, а Storm — более привлекательная, поэтому я не думаю, что разумно пытаться подключить носик к...
1553 просмотров
schedule 18.08.2023

Storm-Kafka с несколькими носиками, как распределить нагрузку?
Я пытаюсь разделить задачу между несколькими носиками. У меня есть ситуация, когда я получаю по одному кортежу/сообщению за раз из внешнего источника, и я хочу иметь несколько экземпляров носика, основное намерение - разделить нагрузку и повысить...
11057 просмотров

Чтобы передать значение в запрос DRPC от выходного коллектора spout?
Я пытаюсь внедрить Trident+DRPC. Я разработал топологию таким образом, чтобы она не работала бесконечно. У меня есть два отдельных класса: один для реализации носика, а другой для реализации DRPC и Trident. Мой класс носика (носик, который...
1495 просмотров
schedule 05.06.2022

Добавить внешний источник данных в Storm
Я новичок в Apache Storm. Я в настоящее время сделал задачу подсчета слов. В настоящее время мой источник данных (файл, содержащий слова) находится в моей локальной системе. Но теперь мне нужно, чтобы этот файл находился во внешней системе. то...
138 просмотров
schedule 31.03.2023

обработка данных шторма очень медленная
У нас есть 1 носик и 1 болт на одном узле. Spout считывает данные из RabbitMQ и передает их единственному болту, который записывает данные в Cassandra. Наш источник данных генерирует 10000 сообщений в секунду, и шторм занимает около 10 секунд,...
3356 просмотров
schedule 03.05.2022

Получение сообщений от кафки с помощью шторма
Как получить время последнего смещения от zookeeper? при чтении сообщений от кафки с помощью штормового излива. Контекст: Kafka получает сообщения непрерывно, потребитель какое-то время читает, а затем выключается по любой причине, а затем...
773 просмотров

ОШИБКА backtype.storm.util - Асинхронный цикл прервался
Я абсолютный новичок в штурме. Это пример из начала работы со storm (книга). Пример счетчика слов. Я использую Storm локально, и когда я запускаю этот пример с помощью maven, я получаю эту ошибку. Использование команды Maven: [knk@kinock...
5467 просмотров
schedule 29.11.2022

Storm не найден для отправки топологии?
У меня возникла проблема в storm jar при отправке топологии, так как я стою storm starter/src/jvm/storm/starter/ я написал storm jar ExclamationTopology.jar storm.starter.ExclamationTopology arg1 напечатанный команда шторма не...
1580 просмотров
schedule 10.07.2023

Как увидеть ввод и вывод в шторме
Я установил Apache Storm, а также выполнил пример топологии подсчета слов . . Но не было показано ни ввода, ни вывода. Как я могу это увидеть?
3026 просмотров
schedule 27.11.2023

Ребаланс в Trident
Мне интересно, как лучше всего перебалансировать топологию Trident? Топология Storm Trident, кажется, устанавливает количество задач в соответствии с намеками на параллелизм потока. Когда я запускаю команду перебалансировки, я не могу увеличить...
228 просмотров
schedule 11.03.2023

Не удалось найти основной класс при запуске Storm Topology
Я использую класс storm jar для отправки топологии в "nimbus". Он отлично работает локально, но в удаленном кластере он говорит, что не может загрузить основной класс. Ниже ошибка stderr: SLF4J: Class path contains multiple SLF4J bindings....
6849 просмотров
schedule 26.12.2022

Пример Storm, работающий даже без процессов zookeeper, nimbus и супервизора
Я настроил узел storm на 1 машине, следуя инструкциям, приведенным здесь Я запустил процессы zookeeper, nimbus и супервизор согласно инструкции. Затем я нашел примеры штормов здесь и здесь , скомпилировал их (используя maven ) и запустил...
762 просмотров
schedule 14.02.2023

Носик не получает подтверждение
В одной из наших топологий, содержащих 1 патрубок и 1 болт, у меня было предчувствие, что болты завершаются нормально (и отпираются), но патрубки все еще не работают. Я попытался подтвердить это с помощью TaskHook, как показано ниже: public class...
1871 просмотров
schedule 25.08.2022

Интеграция Storm и Spring 4
У меня есть прототип штормового приложения, которое читает поток STOMP и сохраняет вывод в HBase. Он работает, но не очень гибкий, и я пытаюсь настроить его более согласованным образом с остальными нашими приложениями, но мне не очень удается...
7822 просмотров
schedule 05.02.2023

Получение ошибки при запуске штормового соединения с accumulo
У меня есть Storm Bolt, как показано ниже, package storm.bolt; import java.util.Map; import org.apache.accumulo.core.client.AccumuloException; import org.apache.accumulo.core.client.AccumuloSecurityException; import...
2761 просмотров
schedule 20.12.2022

Вставка строк в HBase с помощью Storm bolt
Я хотел бы иметь возможность писать новые записи в HBase из распределенной (не локальной) топологии Storm. Существует несколько проектов GitHub, которые предоставляют либо HBase Mappers , либо готовые болты Storm для записи кортежей в HBase. Эти...
2952 просмотров
schedule 01.01.2024

Динамическое соединение Кассандры в Storm Bolt
Я запускаю топологию Storm, которая считывает данные с брокера Kafka и записывает их в Cassandra. Один из моих болтов Cassandra выполняет операции чтения и записи. Мое пространство ключей всегда устанавливается динамически. Теперь я хочу...
1020 просмотров

Время обработки шторма
Как я могу получить время обработки (сек) для всех болтов в топологии, когда у меня есть некоторое количество кортежей? Я хотел бы проверить производительность шторма с помощью количества кортежей/времени/узлов.
54 просмотров
schedule 11.07.2022