Вопросы по теме 'python-multiprocessing'
Менеджер многопроцессорной обработки Python и совместное использование составных шаблонов
Я пытаюсь поделиться составной структурой через диспетчер многопроцессорной обработки, но столкнулся с проблемой " RuntimeError: превышена максимальная глубина рекурсии " при попытке использовать только один из методов класса Composite.
Класс...
1476 просмотров
schedule
07.01.2023
python - многопроцессорность медленнее, чем последовательная
это моя первая многопроцессорная реализация, я выполнил свой код в последовательном подходе, и мне потребовалась минута, чтобы обработать около 30 секунд, чтобы обработать 20 записей. Но я создал словарь с каждым ключом, имеющим набор записей, и...
1932 просмотров
schedule
23.06.2023
Как процесс Python корректно завершается после получения SIGTERM во время ожидания семафора?
У меня есть процесс Python, который порождает 5 других процессов Python, используя модуль многопроцессорности. Назовем родительский процесс P0, а остальные P1-P5. Требование состоит в том, что если мы отправим SIGTERM на P0, он должен сначала...
6343 просмотров
schedule
22.05.2023
Ограничение количества процессов, запущенных одновременно из скрипта Python
Я запускаю сценарий резервного копирования, который запускает дочерние процессы для выполнения резервного копирования с помощью rsync. Однако у меня нет возможности ограничить количество rsync, запускаемых одновременно.
Вот код, над которым я...
3220 просмотров
schedule
28.07.2022
Обновите графический интерфейс PySide из многопроцессорного процесса
Я пытаюсь создать графический интерфейс PySide, который обновляется многопроцессорным процессом, например графический интерфейс PySide, который отображает текст в окне, которое обновляется после некоторых вычислений. Используя QThread, я могу без...
1707 просмотров
schedule
11.05.2023
Многопроцессорные очереди Python медленнее, чем pool.map
Недавно я начал экспериментировать с многопроцессорностью, чтобы ускорить задачу. Я создал скрипт, который выполняет нечеткое сопоставление строк и вычисляет баллы с использованием разных алгоритмов (я хотел сравнить разные методы сопоставления)....
5845 просмотров
schedule
28.08.2022
Скрученные потоки для нескольких клиентов на сервере
Я реализовал серверную программу, используя Twisted . Я использую twisted.protocols.basic.LineReceiver вместе с twisted.internet.protocol.ServerFactory .
Я хотел бы, чтобы каждый клиент, который подключается к серверу, выполнял набор функций...
634 просмотров
schedule
03.08.2023
как использовать многопроцессорный модуль python
Я использую двухъядерный процессор Intel Pentium(R) E5700 с частотой 3,00 ГГц и оперативной памятью 2 ГБ. Я пытаюсь изучить модуль Python multiprocessing . Я написал простую программу, которая выполняет сложение, но она не работает; Я получаю...
1909 просмотров
schedule
19.02.2024
python - ImportError: невозможно импортировать имя пула
Код здесь:
from multiprocessing import pool
def worker(num):
print 'Worker:', num
return
if __name__ == '__main__':
jobs = []
for i in range(5):
p = multiprocessing.Process(target=worker, args=(i,))
jobs.append(p)...
9876 просмотров
schedule
04.04.2023
Многопроцессорность Python не работает или выдает исключение
У меня есть класс, и в конструкторе я создаю объекты класса Process, как показано ниже.
self.child = multiprocessing.Process(target = self.load_paths,args = (self.paths,self.queue,))
self.child.daemon = True
В отдельной функции я пытаюсь...
95 просмотров
schedule
20.05.2023
Функция многопроцессорного пула apply_async при применении к объекту выдает ошибку «Невозможно выбрать объекты ‹type 'thread.lock»›
Моя функция __init__ пытается вызвать функцию класса Scheduler с именем verify_func() .
def__init__:
def _pickle_method(method):
func_name = method.im_func.__name__
obj = method.im_self
cls = method.im_class
return...
866 просмотров
schedule
12.09.2022
PYTHON — почему многопроцессорный пул использует 100% ЦП?
Мне нужно запустить программу параллельно, я использовал python multiprocessing.Pool , но выполнение скрипта использовало 100% всех 4 блоков, что увеличило температуру процессора.
Есть ли способ ограничить%, используемый пулом?
1059 просмотров
schedule
22.07.2023
Threading в Python занимает больше времени, а не ускоряет его?
Я написал 3 разных кода, чтобы сравнить наличие потоков и отсутствие потоков. В основном измерение того, сколько времени я экономлю, используя многопоточность, и результат не имеет никакого смысла.
Вот мои коды:
import time
def...
3667 просмотров
schedule
27.08.2023
Многопроцессорность Python (joblib) лучший способ передачи аргументов
Я заметил огромную задержку при использовании многопроцессорной обработки (с joblib). Вот упрощенная версия моего кода:
import numpy as np
from joblib import Parallel, delayed
class Matcher(object):
def match_all(self, arr1, arr2):...
4498 просмотров
schedule
24.12.2022
Очистка одновременно с селеном в питоне
Я пытаюсь очищать одновременно с модулями селена и многопроцессорности. Ниже примерно мой подход:
создать очередь с количеством экземпляров веб-драйвера, равным количеству рабочих
создать пул рабочих
каждый рабочий извлекает экземпляр...
1555 просмотров
schedule
29.04.2024
Как освободить память от процесса в multiprocessing.queue?
У меня есть программа, которая пытается предсказать конверсию электронной почты для каждого электронного письма, которое я отправляю за неделю (так что обычно 7 отправок). На выходе получается 7 разных файлов с оценками прогнозов для каждого клиента....
3454 просмотров
schedule
02.08.2023
максимальная ошибка рекурсии при использовании futures.ProcessPoolExecutor, но не futures.ThreadPoolExecutor с оболочкой PRAW
Я использую этот код для очистки API:
submissions = get_submissions(1)
with futures.ProcessPoolExecutor(max_workers=4) as executor:
#or using this: with futures.ThreadPoolExecutor(max_workers=4) as executor:
for s in executor.map(map_func,...
1626 просмотров
schedule
27.01.2023
Python Multiprocessing RuntimeError в Windows
У меня есть функция класса (назовем ее "alpha.py"), которая использует многопроцессорность (processes=2) для разветвления процесса и является частью пакета Python, который я написал. В отдельном скрипте Python (назовем его «beta.py») я создал...
2449 просмотров
schedule
05.02.2023
Распараллелить метод расчета расстояния с многопроцессорной обработкой
Этот вопрос связан с другим , который я опубликовал несколько дней назад; Я прочитал этот вопрос о проблеме, связанной с multiprocessing травлением с помощью методов экземпляра. Проблема в том, что я не понял, как применить предоставленное...
468 просмотров
schedule
17.06.2023
Многопроцессорность и очередь с Dataframe
У меня возникли проблемы с обменом объектом (dataframe) между двумя процессами через Queue.
Первый процесс получает данные из очереди, второй помещает данные в очередь. Процесс put быстрее, поэтому процесс get должен очистить очередь, прочитав...
4575 просмотров
schedule
16.07.2023
