Невозможно записать данные в BigQuery при использовании секрета Databricks. ⇐ Python

[Anonymous]

Я следую этому руководству по записи данных в таблицу BigQuery.
Сейчас у меня возникает ошибка, когда я пытаюсь записать данные с помощью Databricks Secret вместо файла учетных данных JSON и установка переменной среды GOOGLE_APPLICATION_CREDENTIALS.

Код: Выделить всё

java.io.IOException: Error getting access token from metadata server at: http://169.x.x.x/computeMetadata/v1/instance/service-accounts/default/token

Странно то, что я могу записывать/читать данные, используя переменную среды GOOGLE_APPLICATION_CREDENTIALS. Я также могу читать данные с помощью Databricks Secret. Поэтому я не знаю, почему это не работает, когда я записываю данные с помощью Databricks Secret.
Вот мой код для чтения Databricks Secret:
< pre class="lang-py Prettyprint-override">

Код: Выделить всё

import base64

cred = dbutils.secrets.get(scope="bigquery-scope", key="secret-name").encode('ascii')
cred = base64.b64encode(cred)
cred = cred.decode('ascii')
spark.conf.set("credentials", cred)

Ниже приведен мой код для чтения/записи данных:

Код: Выделить всё

# Read data
df = spark.read.format("bigquery")
.option("parentProject", )
.option("viewsEnabled","true")
.option("table", )
.load()

# Write data
df.write.format("bigquery") \
.mode("overwrite") \
.option("temporaryGcsBucket", ) \
.option("table", ) \
.option("parentProject", ) \
.save()

Не хватает ли мне какой-либо конфигурации для записи данных в BigQuery с помощью Databricks Secret?


Подробнее здесь: https://stackoverflow.com/questions/792 ... cks-secret