В настоящее время я работаю над проектом на основе Storm Crawler. Мне нужно выполнить некоторую обработку после события завершения сканирования всех дополнительных URL-адресов для этого базового URL. Например, я хочу изменить статус, когда все обнаруженные URL-адреса для этого домена просканированы успешно или с ошибкой. Как я могу найти финальное событие для каждого базового URL?
событие завершения сканирования всех дополнительных URL для определенного базового URL в Storm Crawler
Ответы (1)
Не из коробки, нет. вам придется реализовать механизм, чтобы проверить, остались ли невыгруженные URL-адреса для данного ключа.
person
Julien Nioche
schedule
31.10.2020
Я реализовал задание планировщика в java для подсчета количества обнаруженных URL-адресов для каждого базового URL-адреса. если счетчик равен нулю, я провожу завершающее мероприятие для этого базового URL. Это правильный подход?
- person aeranginkaman; 31.10.2020
