Публикации по теме 'parallel-computing'


Параллельная обработка в вычислениях в Канаде
Compute Canada — это кластер высокопроизводительных серверов, доступных исследователям по всей Канаде. Чтобы использовать его, вам нужна учетная запись, поддерживаемая вашей исследовательской группой, или подайте заявку на доступ в качестве исследователя здесь. Это отличное решение для людей, которые не могут достать мощные серверы. Часто я использую Compute Canada, чтобы мои модели работали в течение нескольких дней, что позволяет мне использовать мой основной компьютер для работы..
Выполнение набора задач параллельно с контролем степени параллелизма (в c #)
Недавно я столкнулся с проблемой загрузки нескольких тысяч задач на веб-сервер. Очевидно, делать это по одному (foreach {await}) или делать все сразу (Task.WhenAll) не могло быть и речи - первое было бы слишком медленным, а второе могло бы перегрузить сеть и / или пул потоков. . Итак, вот простой метод расширения, позволяющий выделить определенное количество рабочих для выполнения желаемой задачи: Единственный неочевидный фрагмент кода здесь (и то, что отличает его от Task.WhenAll), -..
Обучение тысячам моделей прогнозирования в масштабе с помощью Azure Automated ML и ParallelRunStep.
Автор: Фатос Исмали Прогнозирование бизнеса становится все более важным в современном динамичном и непредсказуемом мире. Прогнозирование находит применение в различных отраслях и бизнес-сценариях — от прогнозирования спроса на продукцию в маркетинговом контексте до прогнозирования энергопотребления. В свете недавней пандемии Covid-19 многие модели прогнозирования испытали то, что я называю «дрейфовым шоком», что означает, что многие из этих моделей необходимо переобучить, чтобы..
Внедрение строительных блоков Intel Thread Building Block (Intel TBB)
4 августа 2019 г. Ёсио Ямаути ( @spparkle1017 ) При использовании функций opencv как в python, так и в c++ я заметил, что задачи автоматически распределялись по всем ядрам. Я подумал, что это может быть связано с тем, что opencv использует некоторые алгоритмы распределения задач и фон потоков. Это было правдой, и это называется Intel Thread Building Block , или TBB. TBB использует цикл for или while и разбивает их на небольшие фрагменты задач, автоматически распределяя их по..
k-кратная перекрестная проверка объяснена простым языком
Для оценки производительности модели и настройки гиперпараметров k-кратная перекрестная проверка - одна из самых популярных стратегий, широко используемых специалистами по анализу данных. Это стратегия разделения данных , позволяющая эффективно использовать свой набор данных для построения более обобщенной модели . Основная цель любого вида машинного обучения - разработать более обобщенную модель, которая может хорошо работать с невидимыми данными . Можно построить..
Как гибкая система моделирования может помочь решить проблемы параллельных вычислений: модуль FMS —…
Официальный репозиторий модуля FMS на github: https://github.com/NOAA-GFDL/FMS/blob/master/fms Основные функции модуля FMS: use fms_mod, only : read_data, write_data, open_namelist_file, close_file, fms_init use fms_mod, only : file_exist use fms_io_mod, only : restart_file_type, reg_rf => register_restart_field use fms_io_mod, only : restore_state, save_restart, fms_io_exit read_data считывает распределенные данные из одного связанного файла. Чтобы обеспечить безопасность и..
Многозадачность против многопоточности против многопроцессорности
Современные компьютеры очень умны и могут выполнять несколько операций одновременно. Эта способность компьютеров выполнять несколько задач одновременно называется многозадачностью . Одноядерный компьютер никогда не может запускать несколько программ одновременно. Что он делает, так это то, что он дает немного времени каждой выполняемой программе, создавая иллюзию многозадачности. Например, если мы запускаем две разные программы или несколько экземпляров одной и той же программы на..