Я пишу работу Hadoop, которая сканирует страницы. Библиотека, которую я использую, использует файловую систему для хранения данных сканирования во время сканирования. Я был уверен, что библиотеку придется модифицировать для использования HDFS,...

У меня есть приложение Play 2.0, я запустил play console из командной строки. Где-то в одной из библиотек, которые я использую, он использует log4j и начал передавать вывод отладки для [crawler4j][1] , я пытаюсь выяснить, как выборочно отключить...

Я разрабатываю приложение Grails, используя Crawler4j. Я знаю, что это старый вопрос, и я нашел это решение здесь . Я попробовал предложенное решение, но не уверен, где хранить другие файлы fetcher и mockssl java. Кроме того, я не уверен,...

Я использую краулер Crawler4j для сканирования некоторых доменов. Теперь я хочу повысить эффективность краулера, я хочу, чтобы мой краулер использовал всю мою пропускную способность и сканировал как можно больше URL-адресов за заданный период времени....

Я простой веб-сканер, построенный с использованием стандартных блоков Crawler4J. Я пытаюсь создать словарь, когда мой сканер сканирует, а затем передать его моему основному (контроллеру), когда он создает и анализирует текст. Как я могу это сделать,...

Я запускаю экземпляр Crawler4j в загрузочном приложении Spring, и мой клиент OpenFeign всегда равен нулю. public class MyCrawler extends WebCrawler { @Autowired HubClient hubClient; @Override public void visit(Page page) { // Lots of...