Использование сельдерейных рабочих снижается с ростом числа рабочих

Для будущих читателей. Действия, которые помогли, сначала самое значительное преимущество:

• Сгруппируйте несколько небольших рабочих единиц в одну задачу сельдерея
• Переключите брокера Celery с RabbitMQ на Redis

Более полезные подсказки, не упомянутые в первоначальном обсуждении комментариев, поэтому неизвестное значение выгоды для этого вопроса.

• Используйте httplib2 или urllib3 или лучшую библиотеку HTTP. requests сжигает процессор без уважительной причины
• Использовать пул соединений HTTP. Проверьте и убедитесь, что вы повторно используете постоянные подключения к целевым серверам.

Чанкинг объяснил.

Перед разделением

urls = [...]

function task(url)
  response = http_fetch(url)
  return process(response.body)

celery.apply_async url1
celery.apply_async url2
...

Таким образом, очередь задач содержит N=len(urls) задач, каждая задача состоит в том, чтобы получить один URL-адрес, выполнить некоторые вычисления в ответ.

С разбивкой

function chunk(xs, n)
  loop:
  g, rest = xs[:n], xs[n:]
  yield g

chunks = [ [url1, url2, url3], [4, 5, 6], ... ]

function task(chunk)
  pool = eventlet.GreenPool()
  result = {
    response.url: process(response)
    for response in pool.imap(http_fetch, chunk)
  }
  return result

celery.apply_async chunk1
celery.apply_async chunk2
...

Теперь очередь задач содержит задачи M=len(urls)/chunksize, каждая задача состоит в том, чтобы получить URL-адреса в размере фрагмента и обработать все ответы. Теперь вам нужно мультиплексировать одновременные выборки URL внутри одного фрагмента. Здесь это сделано с помощью Eventlet GreenPool.

Обратите внимание, поскольку Python, вероятно, будет выгодно сначала выполнить весь сетевой ввод-вывод, а затем выполнить все вычисления ЦП для всех ответов в чанке, амортизируя загрузку ЦП с помощью нескольких обработчиков celery.

Весь код в этом ответе показывает только общее направление. Вы должны реализовать лучшую версию с меньшим количеством копирования и распределения.