Я пытаюсь проиндексировать 10 миллионов документов в свой индекс Elasticsearch, используя API Elastica. Я запускаю свой скрипт на сервере Ubuntu с 16 ГБ ОЗУ и 8 ядрами.
Пока я не могу проиндексировать более 250 000 документов. Мой скрипт ломается и возвращает неизвестную ошибку.
Может ли кто-нибудь описать мне, как обеспечить индексацию такого объема данных?
Я нашел вопрос, похожий на мой здесь, но ответы не кажутся мне очень ясными.
ИЗМЕНИТЬ:
Я запустил индексный скрипт, который Nate предложил здесь, и я получил следующий вывод:
close index
{
"acknowledged" : true
}
refresh rate
{
"acknowledged" : true
}
merge policy
{
"acknowledged" : true
}
replicas
{
"acknowledged" : true
}
flush
{
"acknowledged" : true
}
buffer
{
"acknowledged" : true
}
{
"acknowledged" : true
}
PS: я немного изменил сценарий для большей наглядности вывода
EDIT 2: я переключился с Elastica на использование elasticsearch-jdbc- river, и теперь он индексирует около 5 миллионов, но все еще не всю базу данных.
Вот файл json для реки, а файл сценария для размещения его в Elasticsearch: здесь.
logging.yml
иpath.log
, чтобы я мог получать данные журнала, но он ничего не записывает в него. Я также пытаюсь увидеть, что происходит с режимом поиска elasticsearchconsole
, и все равно ничего. Я даже не вижу, что он индексирует. - person eliasah   schedule 25.04.2014Indexer/vendor/ruflin/elastica/lib/Elastica/Transport/Http.php : Operation timed out
- person eliasah   schedule 25.04.2014