Вопросы по теме 'concurrent.futures'
Является ли concurrent.futures лекарством от GIL?
Я просто искал эту новую реализацию, и я использую python 2.7, я должен установить это , поэтому если я воспользуюсь им, я забуду слово GIL на CPython?
7370 просмотров
schedule
26.06.2023
ProcessPoolExecutor из concurrent.futures намного медленнее, чем multiprocessing.Pool
Я экспериментировал с новым блестящим модулем concurrent.futures , представленным в Python 3.2, и я заметил, что при почти идентичном коде использование Pool из concurrent.futures way медленнее, чем использование multiprocessing.Pool .
Это...
24048 просмотров
schedule
18.07.2023
Чем ThreadPoolExecutor().map отличается от ThreadPoolExecutor().submit?
Меня просто очень смутил какой-то код, который я написал. Я был удивлен, обнаружив, что:
with concurrent.futures.ThreadPoolExecutor(max_workers=4) as executor:
results = list(executor.map(f, iterable))
а также
with...
54715 просмотров
schedule
05.11.2022
Запускать потоки Python на нескольких ядрах
Я знаю, что Python 2.7 не позволяет запускать несколько потоков на разных ядрах, и вам нужно использовать модуль multiprocessing для достижения некоторой степени параллелизма. Я смотрел модуль concurrent.futures в Python 3.4. Позволяет ли...
2459 просмотров
schedule
14.03.2023
В чем разница между многопроцессорностью Python и concurrent.futures?
Простой способ реализации многопроцессорности в python:
from multiprocessing import Pool
def calculate(number):
return number
if __name__ == '__main__':
pool = Pool()
result = pool.map(calculate, range(4))
Альтернативная...
7425 просмотров
schedule
23.09.2022
Может ли Tornado RequestHandler обрабатывать запросы, ожидая завершения Future?
Может ли один класс Tornado RequestHandler принимать новые запросы, ожидая завершения Future в одном из своих экземпляров?
Я отлаживал сопрограмму Tornado, которая вызывала ThreadPoolExecutor , и заметил, что пока сопрограмма ждала завершения...
236 просмотров
schedule
18.03.2023
максимальная ошибка рекурсии при использовании futures.ProcessPoolExecutor, но не futures.ThreadPoolExecutor с оболочкой PRAW
Я использую этот код для очистки API:
submissions = get_submissions(1)
with futures.ProcessPoolExecutor(max_workers=4) as executor:
#or using this: with futures.ThreadPoolExecutor(max_workers=4) as executor:
for s in executor.map(map_func,...
1626 просмотров
schedule
27.01.2023
Параллельный процесс Python - использование электротехники
Я инженер-электрик, пытающийся реализовать многопроцессорность в python2.7. У меня есть два осциллографа, которым нужно запустить одни и те же тесты на двух разных сигналах.
Прямо сейчас у меня есть код, который делает это последовательно и...
78 просмотров
schedule
03.01.2023
Python 3 concurrent.futures и инициализация для каждого потока
Можно ли в Python 3 использовать подкласс Thread в контексте concurrent.futures.ThreadPoolExecutor , чтобы их можно было индивидуально инициализировать перед обработкой (предположительно многих) рабочих элементов?
Я бы хотел использовать удобный...
2895 просмотров
schedule
05.08.2022
С многопоточностью я получаю 9 «попаданий», без многопоточности я получаю 214. Что происходит?
Основная цель моего скрипта — отфильтровать диапазон чисел (скажем, 5000), числа valid сохраняются в списке под названием hit_list . Реальный диапазон, который я просматриваю, намного больше 5000, поэтому мне нужен параллелизм, чтобы сделать время...
50 просмотров
schedule
22.03.2023
заполнить массив numpy с помощью многопроцессорной обработки concurrent.futures
Я пытаюсь заполнить большой массив numpy, используя многопроцессорность. Я проработал параллельные примеры фьючерсов в документации, но не получил достаточного понимания, чтобы изменить использование.
Вот упрощенная версия того, что я хотел бы...
2831 просмотров
schedule
26.07.2023
concurrent.futures.ThreadPoolExecutor max_workers не может быть 0
Если я раскручиваю ThreadPoolExecutor(max_workers=0) , он работает с Python3.4 и Python2.7, но вызывает ошибку с Python3.5 и Python3.6. Я пытаюсь создать ThreadPoolExecutor , где я хочу убедиться, что ни одна задача не будет добавлена в пул...
1612 просмотров
schedule
11.11.2022
Параллельное выполнение Python с селеном
Меня смущает параллельное выполнение в python с использованием селена. Кажется, есть несколько способов сделать это, но некоторые кажутся устаревшими.
Мне интересно, каков последний способ параллельного выполнения с использованием селена?
Есть...
13551 просмотров
schedule
22.05.2024
Получение объектов Queue должно использоваться только между процессами через наследование, но я не использую Queue
Я пытаюсь использовать ProcessPoolExecutor, но получаю сообщение об ошибке «Объекты очереди должны быть разделены между процессами только через наследование», но я не использую очередь (по крайней мере, явно). Я не могу найти ничего, что объясняет,...
2057 просмотров
schedule
11.10.2022
Python: inotify, concurrent.futures — как добавить существующие файлы
У меня есть простой скрипт, который обрабатывает файлы с помощью модуля inotify и многопоточность :
import concurrent.futures
import inotify.adapters
def main():
i = inotify.adapters.Inotify()
i.add_watch(b'/data')
with...
1051 просмотров
schedule
16.12.2023
scala.concurrent.Future[play.api.mvc.Result] требуется: play.api.mvc.Result
Мне нужен Action.async, который (1) пытается получить значения из БД. Если БД недоступна, она попытается подключиться к другому ресурсу и (2) получить оттуда значения. Поскольку два ресурса, которые я использую, возвращают будущее, я разделяю их...
1023 просмотров
schedule
21.06.2023
Ведение журнала ProcessPoolExecutor не может войти в систему внутри функции в Windows, но не в Unix / Mac
Когда я запускаю следующий сценарий на компьютере с Windows, я не вижу никаких сообщений журнала от функции log_pid , однако я вижу их, когда запускаю на Unix/Mac. Я читал ранее, что многопроцессорность в Windows отличается от Mac, но мне не ясно,...
3336 просмотров
schedule
24.07.2022
ThreadPoolExecutor, ProcessPoolExecutor и глобальные переменные
Я новичок в распараллеливании вообще и concurrent.futures в частности. Я хочу протестировать свой сценарий и сравнить различия между использованием потоков и процессов, но обнаружил, что не могу даже запустить его, потому что при использовании...
8930 просмотров
schedule
29.10.2022
Процесс Python не очищен для повторного использования
Процессы не очищаются для повторного использования
Всем привет,
Я наткнулся на проблему с ProcessPoolExecutor , где процессы получают доступ к данным, у них не должно быть возможности. Позволь мне объяснить:
У меня ситуация, аналогичная...
738 просмотров
schedule
25.04.2023
Flask, concurrent.futures и SQLAlchemy - приложение не найдено: работайте внутри функции просмотра или проталкивайте контекст приложения
Я создаю Flask приложение, которое требует фонового процесса, приводящего к загрузке в SQLAlchemy базу данных.
Соответствующие фрагменты:
from flask_sqlalchemy import SQLAlchemy
import concurrent.futures
import queue
from models...
1374 просмотров
schedule
15.02.2023
