Индексирование 10 миллионов документов с помощью Elasticsearch

Я пытаюсь проиндексировать 10 миллионов документов в свой индекс Elasticsearch, используя API Elastica. Я запускаю свой скрипт на сервере Ubuntu с 16 ГБ ОЗУ и 8 ядрами.

Пока я не могу проиндексировать более 250 000 документов. Мой скрипт ломается и возвращает неизвестную ошибку.

Может ли кто-нибудь описать мне, как обеспечить индексацию такого объема данных?

Я нашел вопрос, похожий на мой здесь, но ответы не кажутся мне очень ясными.

ИЗМЕНИТЬ:

Я запустил индексный скрипт, который Nate предложил здесь, и я получил следующий вывод:

close index
{
 "acknowledged" : true
}
refresh rate
{
 "acknowledged" : true
}
merge policy
{
 "acknowledged" : true
}
replicas
{
 "acknowledged" : true
}
flush
{
 "acknowledged" : true
}
buffer
{
 "acknowledged" : true
}
{
 "acknowledged" : true
}

PS: я немного изменил сценарий для большей наглядности вывода

EDIT 2: я переключился с Elastica на использование elasticsearch-jdbc- river, и теперь он индексирует около 5 миллионов, но все еще не всю базу данных.

Вот файл json для реки, а файл сценария для размещения его в Elasticsearch: здесь.