Job ManifoldCF работает, но зависает через несколько секунд

Я установил ManifoldCF, они коннекторы и postgres. У меня есть 2 работы на моем ManifoldCF :

  • задание LocalFile для внешнего SolR в производстве
  • задание JCIFS в локальный SolR

изображение вакансии

На этом изображении вы можете увидеть проблему. Я могу запустить задание, и они индексируют документы, но задания зависают через много секунд, и я не могу прервать их задание, если оно зависает. Мне нужно перезапустить manifoldCF, чтобы прервать и/или перезапустить их задания, если они зависли. У тебя есть решение ?

PS: Время до заморозки не фиксировано. Количество документов индекс тоже. Не корреляция. PS2: у меня нет логов для этой проблемы

В папке журналов: cat . -name * | grep -R ERROR | grep 2017-04-21 Вернуть только изображения ошибок в формате tiff на интерфейсе ManifoldCF.


postgresql web-crawler solr cifs manifoldcf
person Moltroon    schedule 21.04.2017    source источник
comment
У меня много информации. Коллектор создает взаимоблокировку в postgreSQL. У вас есть решение для этого?   -  person Moltroon    schedule 21.04.2017
comment
есть что-то новое. Когда ManifoldCF закончит чтение всех документов на сервере, именно в этот момент он зависнет.   -  person Moltroon    schedule 24.04.2017

Ответы (1)


arrow_upward
0
arrow_downward

На случай взаимоблокировок мы создали отдельные службы отдыха для перезапуска агентов, перезапуска сервера Tomcat, на котором работала ManifoldCF, а также перезапуска zookeeper, если мы его запускали.

Методы, которые можно использовать, чтобы избежать таких взаимоблокировок: 1. Предоставьте ManifoldCF больше места в куче, а также оперативную память. 2. Отрегулируйте количество рабочих потоков в файле properties.xml, а также отрегулируйте дроссель каждого задания/репозитория/коннектора в зависимости от предоставленной оперативной памяти/кучи. 3. Попробуйте также предоставить Solr больше кучи и проверьте его журнал, если это не вызывает никаких проблем. Так как мы столкнулись с большинством проблем от Solr end, а не от ManifoldCF. 4. Попробуйте использовать многопроцессорный пример на основе Zookeeper или многопроцессорного файла. 5. Используйте postgresql/MySQL вместо hsql, который используется по умолчанию. 6. При использовании базы данных правильно настройте ее в соответствии с приведенными инструкциями. Также регулярно пылесосим и многословно.

В конце, когда работа зависла, даже нам пришлось прибегнуть к перезапуску агентов или самого Tomcat.

person Shashank Raj    schedule 22.07.2018
comment
Я решил свою проблему с Карлом. Транковая версия исправляет проблему. - person Moltroon; 23.07.2018
comment
Вы можете принять этот ответ как правильный, поскольку он предоставляет вам все решения, необходимые для предотвращения таких взаимоблокировок. - person Shashank Raj; 11.07.2020