Невозможно аутентифицировать S3 с конфигурацией S3A pyspark. Я хочу, чтобы код работал в EMR, поэтому избегаю временных ⇐ JAVA

[Anonymous]

Код: Выделить всё

Error: org.apache.hadoop.fs.s3a.auth.NoAuthWithAWSException: No AWS Credentials provided by TemporaryAWSCredentialsProvider SimpleAWSCredentialsProvider EnvironmentVariableCredentialsProvider IAMInstanceCredentialsProvider : com.amazonaws.SdkClientException: Unable to load AWS credentials from environment variables (AWS_ACCESS_KEY_ID (or AWS_ACCESS_KEY) and AWS_SECRET_KEY (or AWS_SECRET_ACCESS_KEY))

Код: Выделить всё

                                 "com.amazonaws.auth.profile.DefaultAWSCredentialsProviderChain")
.config("spark.hadoop.fs.s3a.access.key",
AWSHandler.get_session(Constant.aws_sso_profile).get_credentials().access_key)
.config("spark.hadoop.fs.s3a.secret.key",
AWSHandler.get_session(Constant.aws_sso_profile).get_credentials().secret_key)
.config("spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
.config('spark.executor.instances', 4).getOrCreate()
)
return spark

В производстве жесткое кодирование доступа и секретного ключа не допускается, поэтому мне остается либо этот способ получения доступа из .aws

Подробнее здесь: https://stackoverflow.com/questions/793 ... ode-to-wor