Как сохранить два отдельных CSV-файла при распараллеливании кода на Python? ⇐ Python

[Anonymous]

В настоящее время у меня работает этот код

Код: Выделить всё

def single_iteration(iter:int):
some_parameters =100
do_somthing_get data1, data2, data3, data4
result = []
for i in range 100:
data = {'Col1':data1, 'Col2':data1, 'Col3':data3, 'Col4':data4}
result.append(data)
df =  pd.DataFrame(result)
return df

if __name__ == "__main__":
run_stop = 100
number_of_cores = int(os.environ['SLURM_CPUS_PER_TASK'])
with multiprocessing.Pool(number_of_cores) as pool:
results = pool.map(single_iteration, range(run_stop))
df = pd.concat(results, ignore_index=True)
df.to_csv(path, file_name)

Однако теперь мне нужны два разных CSV , например, df1 = pd.DaFrame[{'Col1':data1, 'Col2':data2}] и df2 = pd .DaFrame[{'Col3':data3, 'Col4':data4}] и возвращайте их при каждом запуске, а затем объединяйте их отдельно и сохраняйте.

Подробнее здесь: https://stackoverflow.com/questions/785 ... -in-pyhton