Невозможно аутентифицировать S3 с конфигурацией S3A pyspark. Я хочу, чтобы код работал в EMR, поэтому избегаю временных JAVA

Программисты JAVA общаются здесь
Ответить
Anonymous
 Невозможно аутентифицировать S3 с конфигурацией S3A pyspark. Я хочу, чтобы код работал в EMR, поэтому избегаю временных

Сообщение Anonymous »

Ошибка: org.apache.hadoop.fs.s3a.auth.NoAuthWithAWSException: учетные данные AWS не предоставлены TemporaryAWSCredentialsProvider SimpleAWSCredentialsProvider EnvironmentVariableCredentialsProvider IAMInstanceCredentialsProvider: com.amazonaws.SdkClientException: невозможно загрузить учетные данные AWS из переменных среды (AWS_ACCESS_KEY_ID (или AWS_ACCESS_KEY) и AWS_SECRET_KEY (или AWS_SECRET_ACCESS_KEY))

Код: Выделить всё

.config("spark.hadoop.fs.s3a.aws.credentials.provider",
"com.amazonaws.auth.profile.DefaultAWSCredentialsProviderChain")
.config("spark.hadoop.fs.s3a.access.key",
AWSHandler.get_session(Constant.aws_sso_profile).get_credentials().access_key)
.config("spark.hadoop.fs.s3a.secret.key",
AWSHandler.get_session(Constant.aws_sso_profile).get_credentials().secret_key)
.config("spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
.config('spark.executor.instances', 4).getOrCreate()
)
return spark


В производственной среде жесткое кодирование доступа и секретного ключа не допускается, что оставляет мне либо с помощью этого способа получения доступа из .aws

Подробнее здесь: https://stackoverflow.com/questions/793 ... ode-to-wor
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «JAVA»