Невозможно аутентифицировать S3 с конфигурацией S3A pyspark. Я хочу, чтобы код работал в EMR, поэтому избегаю временных ⇐ JAVA

[Anonymous]

Ошибка: org.apache.hadoop.fs.s3a.auth.NoAuthWithAWSException: учетные данные AWS не предоставлены TemporaryAWSCredentialsProvider SimpleAWSCredentialsProvider EnvironmentVariableCredentialsProvider IAMInstanceCredentialsProvider: com.amazonaws.SdkClientException: невозможно загрузить учетные данные AWS из переменных среды (AWS_ACCESS_KEY_ID (или AWS_ACCESS_KEY) и AWS_SECRET_KEY (или AWS_SECRET_ACCESS_KEY))

Код: Выделить всё

.config("spark.hadoop.fs.s3a.aws.credentials.provider",
"com.amazonaws.auth.profile.DefaultAWSCredentialsProviderChain")
.config("spark.hadoop.fs.s3a.access.key",
AWSHandler.get_session(Constant.aws_sso_profile).get_credentials().access_key)
.config("spark.hadoop.fs.s3a.secret.key",
AWSHandler.get_session(Constant.aws_sso_profile).get_credentials().secret_key)
.config("spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
.config('spark.executor.instances', 4).getOrCreate()
)
return spark

В производственной среде жесткое кодирование доступа и секретного ключа не допускается, что оставляет мне либо с помощью этого способа получения доступа из .aws

Подробнее здесь: https://stackoverflow.com/questions/793 ... ode-to-wor