Ошибка параллелизма Tokenizer при использовании gradio и mlflow ⇐ Python

[Anonymous]

Я написал скрипт с использованием градиента и иногда (подчеркиваю - только иногда) при его запуске получаю

Код: Выделить всё

huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...
To disable this warning, you can either:
- Avoid using `tokenizers` before the fork if possible
- Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true | false)

Странно то, что, в отличие от ответов, которые я получил при поиске в Интернете, я не использую токенизаторы или LLM, не получаю доступ к моделям объятий и не создаю что-либо.
Мой код — это просто градиентный скрипт, который использует кнопки раскрывающихся списков и фреймы данных и при нажатии на который отправляет запрос на удаленный компьютер. На этом удаленном компьютере запущен API, который на самом деле вызывает модель LLava, но этот процесс выполняется на удаленном компьютере.
Локальный компьютер, на котором отображается ошибка, просто отправляет запрос и получает его
Единственное, что мне приходит в голову, это то, что когда процесс завершается, я получаю

Код: Выделить всё

with mlflow.start_run() as run:
mlflow.log_param("some_param",something)
# ... some more param metrics and artifacts logging
print(
f"Logged data to MLFlow with run ID: {run.info.run_id} in experiment: {experiment_name}"
)

Сообщение об ошибке появляется в этот момент и перед окончательной печатью.
Есть намек на то, почему это может происходить?

Подробнее здесь: https://stackoverflow.com/questions/786 ... and-mlflow