Исправьте медленную систему с помощью Python ⇐ Python

[Anonymous]

Класс Pool многопроцессорного модуля Python. Существует определенный метод запуска для выполнения задач. Создайте объект пула класса Pool для определенного количества процессоров вашей системы, передав ряд имеющихся у вас задач. Запускайте каждую задачу внутри объекта пула, вызывая метод экземпляра карты, и передавайте функцию запуска и список задач в качестве аргумента. Подсказка: os.walk() генерирует имена файлов в дереве каталогов, проходя по дереву сверху вниз. вниз или снизу вверх. Это используется для обхода файловой системы в Python.
Multisync.py
#!/usr/bin/env python3
from multiprocessing import Pool
def run(task):
# Do something with task here
print("Handling {}".format(task))
if __name__ == "__main__":
tasks = ['task1', 'task2', 'task3']
# Create a pool of specific number of CPUs
p = Pool(len(tasks))
# Start each task within the pool
p.map(run, tasks)

Иерархия подпапок /data/prod, данные относятся к разным проектам (например, бета, гамма, каппа) и они независимы друг от друга. Вам необходимо использовать методы модуля многопроцессорной обработки и подпроцесса для синхронизации данных из /data/prod в папку /data/prod_backup.
Попробуйте применить многопроцессорную обработку, которая использует преимущества простаивающих ядер ЦП для параллельной обработки. Здесь вам придется использовать методы модуля многопроцессорной обработки и подпроцесса для синхронизации данных из /data/prod в папку /data/prod_backup.
Подсказка: os.walk() генерирует имена файлов в дерево каталогов, обходя его сверху вниз или снизу вверх. Это используется для обхода файловой системы в Python.
Dailysync.py
#!/usr/bin/env python
import subprocess
src = "/data/prod/"
dest = "/data/prod_backup/"
subprocess.call(["rsync", "-arq", src, dest])


Подробнее здесь: https://stackoverflow.com/questions/630 ... ith-python