CONTEXT_ONLY_VALID_ON_DRIVER: как получить доступ/передать контекст искры pandas_udf в другом файле Python ⇐ Python

[Anonymous]

У меня есть файл Python (main.py), выполняющийся в adf, и еще один файл (udf.py) для pandas udfs.
Я импортирую функции udf.py в main.py, как показано ниже. :

Код: Выделить всё

from udf import func1, func2

когда это выполняется в adf, мы получаем сообщение об ошибке:
CONTEXT_ONLY_VALID_ON_DRIVER
Итак, как я могу передать контекст искры или как чтобы решить эту проблему.
все работает нормально, если хранится в том же файле, что и простой скрипт, а не модульный.
Я подозреваю, что это как-то связано с рабочими и драйверными узлами. но нужно немного света.

Подробнее здесь: https://stackoverflow.com/questions/788 ... ndas-udf-i