Установите поле экземпляра Java UDF в драйвере Spark и используйте в исполнителях. ⇐ JAVA

[Anonymous]

Можно ли установить поле в экземпляре UDF в Driver и использовать его исполнителями over call () вызывается?

Код: Выделить всё

public class SomeUDF implements UDF2 {
private String val = "foo";

public void init(String st){
val = st;
}
@Override
public String call(String a, String b) {
return val;
}
}
< /code>
py spark: < /p>
jvm_udf = spark._jvm.com.example.demo.SomeUDF()
jvm_udf.init("bla")

spark.udf.registerJavaFunction("foo", jvm_udf.getClass().getName(), T.StringType())
df_single_row.withColumn("val", expr(f"foo('a','b')"))

Вывод:
"foo"
Я хочу:
"бла"

Подробнее здесь: https://stackoverflow.com/questions/793 ... -executors