Отслеживание хода выполнения joblib.Parallel ⇐ Python

[Anonymous]

Есть ли простой способ отслеживать общий ход выполнения joblib.Parallel?

У меня есть длительное выполнение, состоящее из тысяч заданий, которые я хочу отслеживать и заносить в базу данных. Однако для этого каждый раз, когда Parallel завершает задачу, мне нужно выполнить обратный вызов, сообщая, сколько осталось заданий.

Я выполнил аналогичную задачу. раньше с Python stdlib multiprocessing.Pool, запустив поток, который записывает количество ожидающих заданий в списке заданий пула.

Глядя на код, Parallel наследует Pool, поэтому я думал, что смогу проделать тот же трюк, но, похоже, он не использует этот список, и я не смог придумать, как еще «прочитать» его внутренний статус каким-либо другим способом.

Подробнее здесь: https://stackoverflow.com/questions/249 ... -execution