Как установить адрес панели управления Dask с помощью SLURMRunner (Jobqueue) и получить к нему доступ через переадресаци ⇐ Python

[Anonymous]

Я пытаюсь запустить Планировщик и рабочие процессы в удаленном кластере с помощью SLURMRunner из dask-jobqueue. Я хочу привязать панель управления Dask к 0.0.0.0 (чтобы она была доступна через переадресацию портов) и получить к ней доступ с моего локального компьютера.
Однако , панель мониторинга всегда привязывается к IP-адресу и порту по умолчанию (

Код: Выделить всё

10.x.x.x:8787

), и ни одна из моих попыток настроить его не увенчалась успехом. Вот что я уже пробовал:

1. Подход с использованием переменных среды
Перед запуском сценария я установил:

Код: Выделить всё

export DASK_DISTRIBUTED__SCHEDULER__DASHBOARD__ADDRESS="0.0.0.0:8789"
python my_script.py

Но когда я проверяю журналы, панель мониторинга по-прежнему привязана к IP-адресу и порту по умолчанию (

Код: Выделить всё

8787

).

2. Программная установка адреса информационной панели
Я попробовал установить адрес информационной панели с помощью dask.config.set() перед инициализацией SLURMRunner:

Код: Выделить всё

import dask
from dask_jobqueue import SLURMRunner
from dask.distributed import Client

dask.config.set({"distributed.scheduler.dashboard.address": "0.0.0.0:8789"})

runner = SLURMRunner()

client = Client(runner)

print(client.dashboard_link)

Несмотря на эту настройку, в журналах по-прежнему отображается привязка информационной панели к 10.x.x.x:8787.

< ч3>3. Использование файла конфигурации
Я создал файл dask.yaml по адресу ~/.config/dask/dask.yaml с следующее содержимое:

Код: Выделить всё

distributed:
scheduler:
dashboard:
address: "0.0.0.0:8789"

Я убедился, что конфигурация подбирается при запуске:
но планировщик все равно привязывается к 10.x.x.x:8787.< /p>

Вопрос:
Как я могу заставить планировщик задач запустить SLURMRunner для привязки панели мониторинга к 0.0.0.0:8789, чтобы я мог получить к нему доступ через переадресацию портов SSH?
Есть ли другой способ настроить или переопределить это поведение в SLURMRunner?? p>

Примечания:

• Код: Выделить всё

  Python

  3.10.10, dask 2024.9.1, dask-jobqueue 0.9.0
• SLURMRunner является частью более крупного сценария, поэтому я бы предпочитаю придерживаться этого, а не переключаться на запуск dask-scheduler вручную.

Будем очень благодарны за любую помощь или предложения!

Подробнее здесь: https://stackoverflow.com/questions/792 ... ess-it-via