Вопросы по теме 'slurm'
ошибка сегментации с использованием заданий openMPI с SLURM
У меня проблема при попытке использовать задания SBATCH slurm или задания SRUN с MPI через infiniband.
OpenMPI установлен, и если я запускаю следующую тестовую программу (называемую hello ) с mpirun -n 30 ./hello , она работает.
//...
6252 просмотров
schedule
22.03.2023
Запуск программы helloworld.py в сетке с использованием slurm
Это длинный вопрос, поэтому сначала я дам резюме:
Я новичок в параллельном программировании и грид-системах. Я хочу запустить первый пример в http://jeremybejarano.zzl.org/MPIwithPython/introMPI.html в сетке У меня есть аккаунт. Сопровождающие...
4455 просмотров
schedule
25.05.2022
Изменить ресурс памяти во время выполнения задания
Можно ли изменить значение --mem-per-cpu во время выполнения задания?
В моем сценарии у меня очень много памяти (~ 50 ГБ), но с очень ограниченным временем выполнения (~ 30 минут). После этого необходимо запустить несколько небольших задач,...
34 просмотров
schedule
09.12.2022
вопросы об использовании времени сообщил/а SLURM
У меня проблемы с пониманием отчета об использовании времени ниже:
1) почему время для шагов задания 1 и 2 не суммируется с пакетной строкой?
2) какая связь между каждым столбцом, особенно для TotalCPU и CPUTime ?
3) для использования...
649 просмотров
schedule
15.08.2022
SciPy не устанавливается через pip
Я пытаюсь установить SciPy с помощью pip в среде SLURM . NumPy и некоторые другие модули Python уже установлены и работают нормально.
Однако когда я бегу:
pip2.7 install --user --use-wheel scipy
or
pip2.7 install --user scipy...
537 просмотров
schedule
13.04.2022
Что делает --ntasks или -n tasks в SLURM?
Я использовал SLURM для использования некоторого вычислительного кластера, и у него были -ntasks или -n . Я, очевидно, прочитал документацию по нему ( http://slurm.schedmd.com/sbatch.html ):
sbatch не запускает задачи, он запрашивает...
24049 просмотров
schedule
07.02.2023
Исследования вакансий HPC и отчет об использовании оборудования
Я изо всех сил пытаюсь найти исчерпывающий отчет о среднем использовании оборудования кластера HPC. В Google или Facebook доступны различные наборы данных об использовании их облачного оборудования, но есть ли какие-либо аналогичные отчеты/наборы...
140 просмотров
schedule
11.05.2022
SLURM - массив заданий sbatch для одного и того же сценария, но с разными входными аргументами, выполняемыми параллельно
У меня проблема, когда мне нужно запустить один и тот же скрипт, но с разными входными аргументами.
Скажем, у меня есть сценарий myscript.py -p <par_Val> -i <num_trial> , где мне нужно рассмотреть N разных par_values (между x0 и...
9125 просмотров
schedule
06.08.2023
SLURM: Доступ к лимиту времени стены из скрипта
Можно ли получить доступ к лимиту времени стены из скрипта SLURM? Для PBS Torque ответ на этот вопрос был дан здесь . Есть ли аналогичная среда для SLURM?
1648 просмотров
schedule
30.01.2023
Получить stdout/stderr из задания slurm во время выполнения
У меня есть пакетный файл для отправки задания с помощью sbatch . Содержимое командного файла
# Setting the proper SBATCH variables
...
#SBATCH --error="test_slurm-%j.err"
#SBATCH --output="test_slurm-%j.out"
...
WORKDIR=.
echo "Run 1"...
3862 просмотров
schedule
22.07.2023
slurm: Как связать интерфейс с вычислительными узлами?
У меня есть интерфейс и два вычислительных узла
Все имеют одинаковый файл slurm.conf, который заканчивается на (подробности см. На странице https://gist.github.com/avatar-lavventura/46b56cd3a29120594773ae1c8bc4b72c ):
NodeName=ebloc2...
1889 просмотров
schedule
09.04.2022
Взаимодействие с slurm через python (для автоматической цепочки заданий)
Мне нужно выполнить 10 000 заданий на slurm (скажем, каждое из них занимает 30 минут). В настоящее время планировалось сделать это с помощью массива заданий, используя 250 ядер параллельно, например:
sbatch --array=0-10000%250 array_script.sh...
765 просмотров
schedule
24.12.2023
Эмуляция SLURM в Ubuntu 16.04
Я хочу эмулировать SLURM в Ubuntu 16.04. Мне не нужно серьезное управление ресурсами, я просто хочу протестировать несколько простых примеров. Я не могу установить SLURM в обычный способ , и мне интересно, есть ли другие варианты. Другие вещи,...
1011 просмотров
schedule
13.04.2023
Настройка SJF в SLURM
Я новичок в SLURM и пытаюсь найти конфигурацию, чтобы приоритет задания был обратно пропорционален времени завершения задания. Другими словами, самая короткая работа должна иметь больший приоритет. Я просмотрел документацию, но ничего полезного не...
71 просмотров
schedule
13.08.2023
SLURM — отчет об использовании для каждой учетной записи
Наш кластер использовал SLURM для управления рабочей нагрузкой. Я хотел бы извлечь отчет, в котором сообщается об использовании ЦП, ОЗУ и диска для каждой учетной записи для всех заданий, выполненных после указанной даты. Является ли это возможным?...
896 просмотров
schedule
26.07.2023
Задания slurm ожидают выполнения, но ресурсы доступны
У меня проблемы с распределением ресурсов в том смысле, что в соответствии с тем, как я понял документацию и применил ее к файлу конфигурации, я ожидаю некоторого поведения, которого не происходит.
Вот соответствующий отрывок из конфигурационного...
3677 просмотров
schedule
10.04.2022
Каков наилучший вариант на Amazon AWS для параллельного запуска кода R, разработанного для менеджера Slurm?
В настоящее время у меня есть код R, который можно запустить через диспетчер Slurm с оболочкой и пакетным скриптом. По сути, мой сценарий оболочки создает 1000 массивов заданий, которые затем вызывают пакетный сценарий 1000 раз.
Мне интересно, как...
579 просмотров
schedule
16.05.2023
Как подключиться/использовать MySQL, используя удаленный раздел кластера SLURM?
Я пытаюсь использовать Orthomcl, который включает в себя использование MySQL в Linux. У меня есть доступ к общеуниверситетскому кластеру, который настроен с базовым интерфейсом входа в систему для очень незначительных команд (‹5 минут, мало памяти) и...
232 просмотров
schedule
06.09.2022
Имея псевдоним с несколькими командами, можно ли передать аргумент первой команде?
Я новичок в программировании/сценарии и столкнулся со следующей проблемой. Я много искал переполнение стека и сеть, но не смог решить проблему. Подробная ситуация, с которой я сталкиваюсь, описана ниже на случай, если у кого-то есть совершенно...
81 просмотров
schedule
01.03.2023
getExecutorMemoryStatus().size() не выводит правильное количество исполнителей
Короче говоря , мне нужно количество исполнителей/воркеров в кластере Spark, но использование sc._jsc.sc().getExecutorMemoryStatus().size() дает мне 1, хотя на самом деле исполнителей 12.
Подробнее . Я пытаюсь определить количество исполнителей...
1339 просмотров
schedule
12.12.2022
