Как я могу заставить Dask планировать эти задачи для разных специализированных работников? ⇐ Python

[Anonymous]

У меня есть поток, основанный на словаре задач для их зависимых задач. Я просматриваю каждую задачу, для которой уже были отправлены все зависимости, и отправляю их, что в конечном итоге исчерпывает задачи. Потом жду, пока они все закончатся. Проблема в том, что в середине потока у меня есть несколько задач, которые на самом деле представляют собой одну задачу, разбитую на «пакеты», поэтому каждый из пакетов требует одних и тех же зависимостей и одного и того же ресурса для специализированного работника. Все мои работники — это контейнеры KCS, предоставляющие один ресурс (например, foo=1). Для всех пакетных задач требуется 1 ресурс (т. е. foo=1). Поведение, которое я наблюдаю, следующее:
При наличии 2 групп по 3 пакета в каждой (т. е. всего 6 задач) и 4 рабочих процессов с необходимым каждому из них ресурсом, параллельно вычисляются ровно 2 задачи. Две задачи всегда относятся к разным группам (скажем, A и B), они запускают A2 и B0, затем, когда A2 завершается, он запускает A1, затем, когда B0 завершает, он запускает B1, а затем B2. Затем, когда A1 завершает работу, он наконец запускает A0. Никогда не выполнялось более двух задач, и это всегда были A и B.
Я пытался заставить ИИ ответить на этот вопрос, но он продолжает давать те же результаты даже после того, как я сказал ему, что попробовал это, и это не изменило никакого поведения. Максимум, что я смог извлечь из этого, это то, что это, по-видимому, связано с предпочтением dask к локальности данных. Он также предлагал изменить некоторые настройки dask, такие как распределенный.scheduler.worker-saturation или active-task-set-scale, но он дает противоречивые советы о том, увеличивать или уменьшать, и даже не может дать (повторяемый) прямой ответ о том, какое значение по умолчанию.
Мне хотелось бы решение, которое не меняет поток, так как я хочу, чтобы все задачи отправлялись одновременно, чтобы я мог видеть поток на панели инструментов dask с графиком боке. Кроме того, я стараюсь хранить весь код, связанный с задачами, отдельно от кода создания потока. Так что что-то вроде изменения настроек рабочего стола было бы идеально, если бы это сработало. Итак, может ли кто-нибудь объяснить, как работают эти настройки и какая конкретная настройка решит мою проблему, когда Dask предпочитает локальность данных распараллеливанию?

Подробнее здесь: https://stackoverflow.com/questions/798 ... ed-workers