SnakeMake - файлы в качестве ввода/вывода с временной меткой ⇐ Python

[Anonymous]

Я пытаюсь настроить змеиный фон (Snakemake 7.19.1). Окончательный вывод должен содержать временную метку. Это минимальный пример: < /p>

Код: Выделить всё

#!/bin/python
print('import packages')

from datetime import datetime
import time

now = datetime.now().strftime("%Y-%m-%d_%H-%M-%S")
tarfile = now + '_stardist.tar'
print(tarfile)

rule all:
input: {tarfile}

rule main_rule:
input:
output: {tarfile}
run:
shell('touch ' + output[0])

Если я запускаю этот Snakefile с Snakemake -s Snakefile -cores 1 Я получаю следующий вывод, в результате чего сообщение об ошибке:

Код: Выделить всё

import packages
2025-02-04_11-33-38_stardist.tar
Building DAG of jobs...
Using shell: /usr/bin/bash
Provided cores: 1 (use --cores to define parallelism)
Rules claiming more threads will be scaled down.
Job stats:
job          count    min threads    max threads
---------  -------  -------------  -------------
all              1              1              1
main_rule        1              1              1
total            2              1              1

Select jobs to execute...

[Tue Feb  4 11:33:38 2025]
rule main_rule:
output: 2025-02-04_11-33-38_stardist.tar
jobid: 1
reason: Missing output files: 2025-02-04_11-33-38_stardist.tar
resources: tmpdir=/tmp

import packages
2025-02-04_11-33-39_stardist.tar
Building DAG of jobs...
Using shell: /usr/bin/bash
Provided cores: 1 (use --cores to define parallelism)
Rules claiming more threads will be scaled down.
Select jobs to execute...
Waiting at most 5 seconds for missing files.
MissingOutputException in rule main_rule in file /lustre/projects/xxx/test_timestamp_minimal/snakefile, line 14:
Job 1  completed successfully, but some output files are missing. Missing files after 5 seconds. This might be due to filesystem latency. If that is the case, consider to increase the wait time with --latency-wait:
2025-02-04_11-33-38_stardist.tar
Shutting down, this might take some time.
Exiting because a job execution failed. Look above for error message
Complete log: .snakemake/log/2025-02-04T113338.450326.snakemake.log

, поскольку теперь это имя Tarfile создается дважды, а файл, который наконец -то создается, не имеет такой же метки времени, как файл, который ожидается как выход.
Кто -нибудь может помочь? 1 Я протестировал свой код на локальной машине Windows10 (Miniforge) и на CentOS7 (узлом головного узла среды HPC).
. Хотя на моей локальной машине нет проблем, я получаю такую ​​же ошибку в системе HPC. /p>
Это выход на локальной машине (я больше не ставлю вывод HPC-узла, поскольку он сопоставим с тем, что я уже сообщал): < /p>
import packages
2025-02-05_13-13-27_stardist.tar
Assuming unrestricted shared filesystem usage.
host: screening-pc-4
Building DAG of jobs...
Provided cores: 1 (use --cores to define parallelism)
Rules claiming more threads will be scaled down.
Job stats:
job count
--------- -------
all 1
main_rule 1
total 2

Select jobs to execute...
Execute 1 jobs...

[Wed Feb 5 13:13:27 2025]
localrule main_rule:
output: 2025-02-05_13-13-27_stardist.tar
jobid: 1
reason: Missing output files: 2025-02-05_13-13-27_stardist.tar
resources: tmpdir=C:\Users\xxx\AppData\Local\Temp

[Wed Feb 5 13:13:27 2025]
Finished job 1.
1 of 2 steps (50%) done
Select jobs to execute...
Execute 1 jobs...

[Wed Feb 5 13:13:27 2025]
localrule all:
input: 2025-02-05_13-13-27_stardist.tar
jobid: 0
reason: Input files updated by another job: 2025-02-05_13-13-27_stardist.tar
resources: tmpdir=C:\Users\xxx\AppData\Local\Temp

[Wed Feb 5 13:13:27 2025]
Finished job 0.
2 of 2 steps (100%) done
Complete log: .snakemake\log\2025-02-05T131327.214796.snakemake.log
< /code>
Что я не понимаю:
в случае среды Win10 (где он работает): SnakeMake сообщает следующие строки только один раз: < /p>
import packages
2025-02-04_14-14-23_stardist.tar
< /code>
Хотя когда он идет не так ко второй работе.

Подробнее здесь: https://stackoverflow.com/questions/794 ... -timestamp