Использование doParallel для запуска нескольких системных вызовов из R в задании Slurm ⇐ JAVA
Использование doParallel для запуска нескольких системных вызовов из R в задании Slurm
Я использую сценарий R, который в основном объединяет команды командной строки для выполнения через system2(). Команды запускают какое-либо приложение Java.
Теперь я хочу одновременно запустить несколько процессов этого Java-приложения, чтобы выполнить некоторые задачи на кластерном компьютере. Рабочие места отправляются через Slurm. Имеет ли смысл выполнять системные вызовы из R, используя doParallel с количеством ядер, зарезервированных для задания Slurm? Или есть более эффективные варианты (например, параллельный запуск нескольких экземпляров сценария R через Slurm, чтобы создать параллельные экземпляры Java)?
Я не уверен, как Slurm или параллельно распределяют ресурсы и как наиболее эффективно запускать процессы. Какой процесс будет контролировать выполнение экземпляров Java в этой настройке?
Пример задания Slurm:
#!/bin/bash #SBATCH --job-name=какое-то задание #SBATCH --output=somejob%a.out #SBATCH --time=2:00:00 #SBATCH --partition=узел #SBATCH --qos=нормальный #SBATCH --account=узел #SBATCH --ЦП-на-задачу=20 #SBATCH --mem-per-cpu=3200 #SBATCH --ntasks=1 #SBATCH --array=1#-12 srun R --vanilla -f somescript.R Пример сценария R:
#!/usr/bin/env Rscript требуется («доПараллель») cl
Я использую сценарий R, который в основном объединяет команды командной строки для выполнения через system2(). Команды запускают какое-либо приложение Java.
Теперь я хочу одновременно запустить несколько процессов этого Java-приложения, чтобы выполнить некоторые задачи на кластерном компьютере. Рабочие места отправляются через Slurm. Имеет ли смысл выполнять системные вызовы из R, используя doParallel с количеством ядер, зарезервированных для задания Slurm? Или есть более эффективные варианты (например, параллельный запуск нескольких экземпляров сценария R через Slurm, чтобы создать параллельные экземпляры Java)?
Я не уверен, как Slurm или параллельно распределяют ресурсы и как наиболее эффективно запускать процессы. Какой процесс будет контролировать выполнение экземпляров Java в этой настройке?
Пример задания Slurm:
#!/bin/bash #SBATCH --job-name=какое-то задание #SBATCH --output=somejob%a.out #SBATCH --time=2:00:00 #SBATCH --partition=узел #SBATCH --qos=нормальный #SBATCH --account=узел #SBATCH --ЦП-на-задачу=20 #SBATCH --mem-per-cpu=3200 #SBATCH --ntasks=1 #SBATCH --array=1#-12 srun R --vanilla -f somescript.R Пример сценария R:
#!/usr/bin/env Rscript требуется («доПараллель») cl
-
- Похожие темы
- Ответы
- Просмотры
- Последнее сообщение