У меня проблемы с отладкой многопроцессорного приложения (в частности, с использованием пула процессов в многопроцессорном модуле python). У меня очевидный тупик, и я не знаю, что его вызывает. Трассировки стека недостаточно для описания проблемы, поскольку она отображает только код в модуле многопроцессорности.
Существуют ли какие-либо инструменты Python или другие общие методы, используемые для отладки взаимоблокировок?
Ага, отладка тупиковых ситуаций - это весело. Вы можете установить более высокий уровень ведения журнала - см. документацию Python для описания это, но очень быстро:
import multiprocessing, logging
logger = multiprocessing.log_to_stderr()
logger.setLevel(multiprocessing.SUBDEBUG)
Кроме того, добавьте в свой код журналирование всего, что связано с ресурсом или еще чем-то, что может вызывать конкуренцию. Наконец, выстрел в темноте: порождение дочерних процессов во время импорта может вызвать проблемы.
Чтобы избежать взаимоблокировок в первую очередь, полезно изучить передовые методы, поскольку параллельная обработка действительно довольно тонкая. (Бесплатная) Маленькая книга семафоров может быть очень приятным чтением!
