Использование doParallel для запуска нескольких системных вызовов из R в задании SlurmJAVA

Программисты JAVA общаются здесь
Ответить Пред. темаСлед. тема
Гость
 Использование doParallel для запуска нескольких системных вызовов из R в задании Slurm

Сообщение Гость »


Я использую сценарий R, который в основном объединяет команды командной строки для выполнения через system2(). Команды запускают какое-либо приложение Java.

Теперь я хочу одновременно запустить несколько процессов этого Java-приложения, чтобы выполнить некоторые задачи на кластерном компьютере. Рабочие места отправляются через Slurm. Имеет ли смысл выполнять системные вызовы из R, используя doParallel с количеством ядер, зарезервированных для задания Slurm? Или есть более эффективные варианты (например, параллельный запуск нескольких экземпляров сценария R через Slurm, чтобы создать параллельные экземпляры Java)?

Я не уверен, как Slurm или параллельно распределяют ресурсы и как наиболее эффективно запускать процессы. Какой процесс будет контролировать выполнение экземпляров Java в этой настройке?

Пример задания Slurm:

#!/bin/bash #SBATCH --job-name=какое-то задание #SBATCH --output=somejob%a.out #SBATCH --time=2:00:00 #SBATCH --partition=узел #SBATCH --qos=нормальный #SBATCH --account=узел #SBATCH --ЦП-на-задачу=20 #SBATCH --mem-per-cpu=3200 #SBATCH --ntasks=1 #SBATCH --array=1#-12 srun R --vanilla -f somescript.R Пример сценария R:
#!/usr/bin/env Rscript требуется («доПараллель») cl
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «JAVA»