Как настроить аутентификацию для Spark Connect? ⇐ Python

[Anonymous]

Недавно я обнаружил новую функцию Spark Connect в Spark 3.4. Я протестировал его на кластере YARN, и он работает хорошо! Однако любой может получить доступ к моему серверу Spark Connect и запускать задания вместе с моим пользователем. Можно ли настроить аутентификацию для Spark Connect? Простой пароль или комбинация имени пользователя и пароля.
Я ищу что-то вроде: p>

• Серверная часть

Код: Выделить всё

./sbin/start-connect-server.sh \
--jars jars/spark-connect_2.12-3.4.1.jar \
--master yarn --name SparkConnectTest \
--conf spark.sql.catalogImplementation=hive \
--conf password=mysuperpassword

• Клиентская сторона

Код: Выделить всё

spark = SparkSession.builder.remote("sc://localhost").conf("password", "mysuperpassword").getOrCreate()

В официальной документации сказано:

Хотя Spark Connect не имеет встроенной аутентификации, он предназначен для работы без проблем с существующей инфраструктурой аутентификации. Его интерфейс gRPC HTTP/2 позволяет использовать прокси-серверы аутентификации, что позволяет защитить Spark Connect без необходимости реализации логики аутентификации напрямую в Spark.

Но я не знаю, как настроить gRPC с помощью Spark Connect.

• Python 3.7.6
• PySpark 3.4 .1
• Hadoop 3.1.1

Подробнее здесь: https://stackoverflow.com/questions/770 ... rk-connect