Параллелизация Slurm с помощью Python? ⇐ Python

[Anonymous]

Есть работа, которую я хочу запустить на Slurm, которая нуждается в параллелизации, потому что в остальном она слишком медленная. Несмотря на то, что вычисления не зависят друг от друга, они не случаются в начале работы. MWE работы был бы что-то вроде < /p>

Код: Выделить всё

class Foo:
def __init(self, n):
self.n = n
self.nList = list(range(n)) # Bonus question: a more elegant way of doing this?

def cubicRoot(self, x):
return x**(1/3)

def cubicRootParallel(self):
from pathos.multiprocessing import ProcessingPool as Pool
p = Pool(4)

def _cubicRoot(x):
return self.cubicRoot(x)

self.cubicRootList = p.map(_cubicRoot, self.nList)

foo = Foo(10)

foo.cubicRootParallel
print(foo.cubicRootList) # Should be a list of [0, 1, ..., ]
< /code>
Однако, когда я пытаюсь позвонить в это задание, используя Slurm с более чем одним узлом (так как я запускаю Python), он поднимает
sbatch: Warning: can't run 1 processes on 4 nodes, setting nnodes to 1< /code>.
Все остальные примеры использования Slurm таким образом выполняют параллелизацию в начале или выполняют одинаковые расчеты много раз с различными параметрами. Тем не менее, мой код (помимо расчета кубического корня) является линейным в том смысле, что единственное время, когда параллелизация имеет смысл (насколько моему пониманию), это при вычислении этого кубического корня. < /P>
< P> Как мне это сделать? Я изучаю решение волнового уравнения и разделяю его в n режимах. Поэтому foo.cubicrootlist 

больше не является массивом float s, а скорее массив массива s. n на самом деле порядок 200.


Подробнее здесь: https://stackoverflow.com/questions/794 ... ing-python