Я разработал проект StormCrawler, в котором есть несколько дополнительных болтов в этой топологии. Мой сканер должен работать 7 х 24 без простоев. Поэтому я не могу перезапустить краулер и изменить конфигурацию топологии. Хочу обойти (включить или выключить) некоторые болты во время работы. Как лучше всего отключить и включить некоторые болты в StormCrawler во время выполнения?
Благодарность
Нет никакого способа сделать это из коробки, поэтому вам придется реализовать логику для настройки вкл / выкл болтов в самих болтах.
Если вам нужно обновить их конфигурацию, вы можете реализовать динамический механизм. Например, сохраните конфигурацию болтов, например, в эластичном индексе и периодически перезагружайте эту конфигурацию.
У нас уже есть что-то вроде этого с JSONURLFilterWrapper и эквивалент для ParseFilter. У нас может быть абстрактный динамически конфигурируемый болт на основе ES. Не стесняйтесь открывать вопрос на GitHub, если вы думаете, что это интересно, или даже лучше, сделайте PR ;-)
