Elasticsearch умирает после слишком большого количества запросов из библиотеки Python

Недавно я обновил свой экземпляр Elasticsearch с 1 до 5, а также обновил библиотеки python (elasticsearch и elasticsearch-dsl) с 1 до 5.

У меня есть сценарий, который создаст индекс, а затем заполнит его, создав документы из реляционной базы данных. Индекс создается, и документы добавляются в индекс, но после добавления пары тысяч документов я начинаю получать эти сообщения, и мой экземпляр Elasticsearch отключается.

ConnectionError (HTTPConnectionPool (host = 'docker_es_instance', port = 9200): Превышено максимальное количество повторных попыток с url: / items / sporting_goods / 2378 / _create (вызвано NewConnectionError (': Не удалось установить новое соединение: [Errno 111] В соединении отказано ») ,)))

Я предполагаю, что существует слишком много открытых подключений и что это DOSing мой экземпляр Elasticsearch, но у меня возникли проблемы с поиском решения.


person user3673004    schedule 20.08.2017    source источник
comment
проверьте размер пула индексных потоков. Также опубликуйте свои журналы elasticsearch. Скорее всего, вы должны увидеть ошибку GC.   -  person Krrish Raj    schedule 21.08.2017
comment
Можете ли вы добавить свой код к вопросу?   -  person dshockley    schedule 22.08.2017


Ответы (1)


Возможно, вы захотите использовать массовый помощник из библиотеки Python. Это должно быть намного быстрее и решить вашу ошибку.

person Wout    schedule 20.08.2017
comment
Я тоже пробовал использовать массовую помощь. Возникла та же проблема. - person user3673004; 20.08.2017