Ошибка Fabric Python Notebook при попытке записи файла паркета ⇐ Python

[Anonymous]

Итак, я новичок в написании блокнотов Python и новичок в интерфейсе Fabric. Я написал несколько сценариев, выполняющих то, что пытаюсь сделать здесь, но по какой-то причине в этом случае происходит ошибка.
Чтобы внести ясность, это будет работать в течение нескольких запусков, но затем начал выдавать ошибку после того, как немного поработал над этим.
Я пытаюсь подключиться к API и загрузить некоторую информацию. Я записываю данные в паркет, а затем в дельта-таблицу.
Ниже приведен код, над которым я работаю. На самом деле это работает какое-то время, а затем начинаются ошибки.

Код: Выделить всё

import requests

# Define the API endpoint
url = "https://APITOGET.com"

# Add your authentication details if required
headers = {
"Authorization": "Bearer APITOKEN",  # Replace with your actual access token
"Content-Type": "application/json"
}

# Make the GET request to the API
response = requests.get(url, headers=headers)

# Check if the request was successful
if response.status_code == 200:
data = response.json()
df = pd.json_normalize(data['value'])
print("Data retrieved successfully:")
print(df)
# Write the DataFrame to a Parquet file
# df.to_parquet('work_logs.parquet', engine='pyarrow')
parquet_table_name = "work_logs.parquet"
parquet_file_path = "abfss://ddddddd/Files/"
parquet_file = f"{parquet_file_path}{parquet_table_name}"

# print (parquet_file)

df.to_parquet(parquet_file, engine='pyarrow', index=False)
print( f"Data written to {parquet_file_path}{parquet_table_name}")

# Read the Parquet file into a Spark DataFrame
df = spark.read.parquet(parquet_file_path)
# display(df)
schema = "dbo"
# Define the Delta table name
delta_table_name = (f"{schema.lower()}.{table_name}")
print("done")
else:
print(f"Failed to retrieve data. Status code: {response.status_code}")
print(response.text)


Код выдает следующее сообщение:
RuntimeError                              Traceback (most recent call last)
Cell In[38], line 29
25 parquet_file = f"{parquet_file_path}{parquet_table_name}"
27 # print (parquet_file)
---> 29 df.to_parquet(parquet_file, engine='pyarrow', index=False)
30 print( f"Data written to {parquet_file_path}{parquet_table_name}")
32     # Read the Parquet file into a Spark DataFrame

RuntimeError: Failed to upload block: Authentication Failed with Access token validation failed.
ErrorCode:Unauthorized
Content: 

Unauthorized

Authentication Failed with Access token validation failed.
!



Подробнее здесь: https://stackoverflow.com/questions/793 ... rquet-file