Передача Java-банков через SparkConf для UDF ⇐ Python

[Anonymous]

Код: Выделить всё

 conf = SparkConf() \
.setMaster('local[*]') \
.set('spark.jars', 'file:///Users/me/jar.jar')\
.set('spark.driver.extraClassPath', 'file:///Users/me/jar.jar') \
.set('spark.executor.extraClassPath', 'file:///Users/me/jar.jar')

также пробовал без файла://

Код: Выделить всё

spark = SparkSession.builder \
.config(conf=conf) \
.getOrCreate()

(также пробовал поместить jar в папку проекта)
при вызове:

Код: Выделить всё

spark.udf.registerJavaFunction("data", "com.MyFoo", T.StringType()

получение: pyspark.errors.Exceptions.captured.AnalysisException: невозможно загрузить класс com.MyFoo, убедитесь, что он находится в пути к классам.
Если я явно помещу jar в ${SPARK_HOME}/jars. - работает
Как заставить это работать с SparkConf?

Код: Выделить всё

spark.sparkContext.getConf().get('spark.jars')

— ничего не возвращает

Подробнее здесь: https://stackoverflow.com/questions/792 ... nf-for-udf