FastQC задерживается под тяжелой системой (выпуск JRE/JVM) ⇐ JAVA

[Anonymous]

Ужасный заголовок, и я обновлю, если может быть предложен более эффективный способ спросить. Трубопровод написан в Nextflow и использует Slurm для управления работой. Первоначально FastQC займет 5-30 минут, чтобы запустить набор образцов. Тем не менее, после того, как обновления разрешены для значительно большей параллелизации работы, FastQC теперь потребуется до 15 часов, чтобы закончить. Похоже, что это происходит во время операций по чтению файлов (на основе файлов журналов из FASTQC). < /P>
Мы почти уверены, что это проблема JVM /JRE, мы просто не уверены, как /почему (или даже как Google Google). Уменьшите распределение и время пробежки, увеличивая распределение и время забега. Мы продемонстрировали влияние на одни и те же и разные наборы образцов.

Насколько мы можем судить, это не влияет на любые другие процессы (Trimgalore, несколько инструментов Sentieon, RNASEQC, RSEQC). < /P>
Проверки < /h1>
nextflow. ОЗУ, и он никогда не превысит использование процессора на 50% (FASTQC является однопоточным, мы выделили 2, чтобы быть уверенным).
Мы проверили с помощью нашего кластера - система не под чрезвычайно тяжелой нагрузкой, сеть ниже 50% используется, и диски I/O приведены ниже 50%. Сервер и для пользователя - без воздействия. < /p>
github assue < /p>
Настройка < /h1>
nextflow 24.04.2.5914

slurm

ubuntu 22.04
openjdjdk verse ”21 -in ybuntu 22.04
openjd /> Среда выполнения OpenJDK (построить 21-internal-adhoc.conda.src)

openjdk 64-битный сервер VM (Build 21-internal-adhoc.conda.src, смешанный режим, обмен) < /p>
update 1 < /h1>
to ardify. Изменение было на запросы на ресурсы от Slurm для других процессов, что позволило значительно большую параллелизм процесса. < /p>
Nextflow Run-Directory является чистой. В .command нет ничего ненормального.withName: 'run_fastqc1|run_fastqc2' {
executor = 'slurm'
queue = 'LocalQ'
errorStrategy = 'retry'
maxRetries = 2
cpus = 2
memory = { 1.GB * 2 ** (task.attempt - 1)}
conda.enabled = true
process.conda = "$conda_envs/my_env"
}
< /code>
Команда FASTQC: < /p>
fastqc --nogroup -f fastq --threads $cpus -o /my/drive/my/path/ fastq_R1.fastq.gz fastq_R2.fastq.gz


Подробнее здесь: https://stackoverflow.com/questions/795 ... -jvm-issue