Перенос одного объекта между классами с помощью crawler4j

Я простой веб-сканер, построенный с использованием стандартных блоков Crawler4J. Я пытаюсь создать словарь, когда мой сканер сканирует, а затем передать его моему основному (контроллеру), когда он создает и анализирует текст. Как я могу это сделать, если мой объект MyCrawler не создан в моем основном классе (использует MyCrawler.class в качестве первого параметра)? Кроме того, я не могу изменить метод controller.start. Я хочу иметь возможность использовать словарь, созданный в сканере, после его завершения.

Лучший способ, который я могу придумать, - это заставить controller.start взять предопределенный и созданный объект MyCrawler, но я не вижу способа сделать это.

Ниже мой код. Большое спасибо за помощь!

Гусеничный трактор:

public class MyCrawler extends WebCrawler
{
    private final static Pattern FILTERS = Pattern.compile(".*(\\.(css|js|gif|jpg|png|mp3|mp3|zip|gz))$");
    public ArrayList<String> dictionary = new ArrayList<String>();

    @Override public boolean shouldVisit(Page referringPage, WebURL url)
    {
        String href = url.getURL().toLowerCase();
        return !FILTERS.matcher(href).matches()
                && href.startsWith("http://lyle.smu.edu/~fmoore"));
    }

    @Override public void visit(Page page)
    {
        String url = page.getWebURL().getURL();
        System.out.println("URL: " + url);
        if(page.getParseData() instanceof HtmlParseData)
        {
            HtmlParseData h = (HtmlParseData)page.getParseData();
            String text = h.getText();

            String[] words = text.split(" ");
            for(int i = 0;i < words.length;i++)
            {
                if(!words[i].equals("") || !words[i].equals(null) || !words[i].equals("\n"))
                    dictionary.add(words[i]);
            }

            String html = h.getHtml();
            Set<WebURL> links = h.getOutgoingUrls();

            System.out.println("Text length: " + text.length());
            System.out.println("Html length: " + html.length());
            System.out.println("Number of outgoing links: " + links.size());
            System.out.println(text);
        }
    }
}

Контроллер:

public class Controller 
{
    public ArrayList<String> dictionary = new ArrayList<String>();

    public static void main(String[] args) throws Exception
    {
        int numberOfCrawlers = 1;
        String crawlStorageFolder = "/data/crawl/root";

        CrawlConfig c = new CrawlConfig();
        c.setCrawlStorageFolder(crawlStorageFolder);
        c.setMaxDepthOfCrawling(-1);    //Unlimited Depth
        c.setMaxPagesToFetch(-1);       //Unlimited Pages
        c.setPolitenessDelay(200);      //Politeness Delay

        PageFetcher pf = new PageFetcher(c);
        RobotstxtConfig robots = new RobotstxtConfig();
        RobotstxtServer rs = new RobotstxtServer(robots, pf);
        CrawlController controller = new CrawlController(c, pf, rs);

        controller.addSeed("http://lyle.smu.edu/~fmoore");

        controller.start(MyCrawler.class, numberOfCrawlers);        

        controller.shutdown();
        controller.waitUntilFinish();
    }
}

java web-crawler crawler4j
person drewfiss90    schedule 08.03.2016    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Позвольте WebCrawlerFactory создать ваши MyCrawler объекты. Это должно сработать (по крайней мере, с версии 4.2). Однако ваш dictionary должен поддерживать одновременный доступ (простой ArrayList — нет!)

// use a factory, instead of supplying the crawler type to pass the dictionary
controller.start(new WebCrawlerFactory<MyCrawler>() {
    @Override
    public MyCrawler newInstance() throws Exception {
        return new MyCrawler(dictionary);
    }
}, numberOfCrawlers);
person rzo1    schedule 08.03.2016