Веб-скрапинг в Java/Scala

Мы используем StormCrawler для нашей поисковой системы, StolenCameraFinder. Это все на Java, и я замерил, что он получает более 4 миллионов URL-адресов в день с настройкой вежливости 1 URL-адрес в секунду на хост. Узким местом был не StormCrawler, а разнообразие моих URL-адресов. Часть на хост важна, она никогда не будет получать более 1 URL-адреса в секунду для каждого хоста (технически это фактически оставляет 1-секундный перерыв между выборками). Например, если у вас было 60 URL-адресов для yahoo.com/* и 100 миллионов для flickr.com/*, вы все равно никогда не превысите 120 URL в минуту.

Вы можете индексировать данные прямо в ElasticSearch, и это работает очень хорошо. У StormCrawler есть хуки, так что вы сможете легко запустить что-то.

Я использовал Apache Nutch, чтобы просканировать около 600 тысяч URL-адресов за 3 часа. Я использовал nutch в кластере Hadoop. Однако мой друг использовал свой собственный поисковый робот, чтобы просканировать 1 миллион записей за 1 час.

В идеале при таком масштабе ваших записей вам понадобится распределенное решение. В результате я рекомендую использовать nutch, поскольку это соответствует вашим потребностям. Вы также можете попробовать поисковый робот Storm. Он похож на Nutch, но использует storm в качестве механизма распространения. Вы можете подумать, что создание нового — лучший вариант, но я так не думаю. Nutch — действительно зрелое и масштабируемое решение.

Вам нужен Солер? все зависит от того, что вы хотите сделать с конечным результатом. Если вы хотите найти его, вам понадобится Solr или Elasticsearch. Если вы хотите сканировать и передавать данные в базу данных, вам нужно создать новый индексатор, который отправляет просканированные данные в нужный приемник данных. Что возможно в Nutch.

Надеюсь, это поможет.

Как упоминалось @ameertawfik, вы можете написать собственный класс индексатора в Nutch, чтобы он отправлял любые данные, которые вам нужно сохранить, в БД. Можно ли использовать SOLR или ES в качестве серверной части индексации, зависит от того, как вам нужно использовать данные.

Вы можете выполнять обработку NLP как часть шагов синтаксического анализа или индексации Nutch, реализуя пользовательские фильтры HTMLParseFilters или IndexingFilters. Любой способ будет работать нормально, и, поскольку он будет работать на Hadoop, часть NLP также будет масштабироваться.

Nutch будет работать нормально, но, вероятно, это излишество для того, что вам нужно делать. Если вы знаете, что URL-адреса, которые вы хотите получить, являются новыми, я бы просто выбрал StormCrawler. Ваши обходы являются нерекурсивными, поэтому это может быть связано с наличием N очередей с RabbitMQ (или любой другой распределенной очередью) и ежедневным вводом ваших URL-адресов в очереди на основе, например. на их имя хоста. Тогда топология SC потребует специального Spout для подключения к RabbitMQ (в Интернете есть примеры, которые вы можете использовать в качестве отправной точки), большинство других компонентов будут стандартными, за исключением пары болтов для выполнения работы NLP + другой, чтобы отправить результаты в хранилище по вашему выбору.

Либо Nutch, либо SC были бы хорошими способами сделать это. SC, безусловно, был бы быстрее и, вероятно, проще для понимания. Я написал руководство за несколько месяцев. назад, который описывает и сравнивает Nutch и SC, это может быть полезно для понимания того, чем они отличаются.

Поскольку мне нужен был безголовый браузер с поддержкой прокси и javascript, я решил создать свой собственный фреймворк на основе HtmlUnit и распараллелить его: https://github.com/subes/invesdwin-webproxy