Конфигурация pySpark Hadoop AWS s3 requester-pays.enabled не работает ⇐ Python

[Anonymous]

Я пытаюсь прочитать корзину AWS S3 с помощью pyspark. Корзина требует, чтобы запрашивающая сторона заплатила за чтение.
Однако это, похоже, не работает, хотя аналогичные учетные данные в aws-cli работают, и я считаю, что это искра.hadoop.fs. Причина в конфигурации s3a.requester-pays.enabled заключается в том, что если я удалю параметр --request-payer requester в aws-cli, я получу точно такую ​​же ошибку.
Ниже приведен мой код для конфигурации pyspark

Код: Выделить всё

spark = SparkSession.builder  \
.appName("MainnetBlocksStreamingJob") \
.config("spark.jars.packages", "org.apache.hadoop:hadoop-aws:3.2.0,com.amazonaws:aws-java-sdk-bundle:1.11.375") \
.config("spark.hadoop.fs.s3a.access.key", S3_ACCESS_KEY) \
.config("spark.hadoop.fs.s3a.secret.key", S3_SECRET_KEY) \
.config("spark.hadoop.fs.s3a.endpoint", "s3.amazonaws.com") \
.config("spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem") \
.config("spark.hadoop.fs.s3a.path.style.access", "true") \
.config("spark.hadoop.fs.s3a.requester-pays.enabled", "true") \
.config("spark.hadoop.fs.s3a.requester.pays.enabled", "true") \
.config('spark.hadoop.fs.s3a.aws.credentials.provider', 'org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider')\
.getOrCreate()

И я запускаю pyspark с помощью команды

Код: Выделить всё

spark-submit \--packages io.delta:delta-spark_2.12:3.3.0,org.apache.hadoop:hadoop-aws:3.2.0,com.amazonaws:aws-java-sdk-bundle:1.11.375 \
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties" \
--conf spark.hadoop.fs.s3a.requester-pays.enabled=true \
dataproc_jobs/streaming.py

Спасибо.

Подробнее здесь: https://stackoverflow.com/questions/793 ... oesnt-work