Избегайте использования JSON сервисного аккаунта в GCP с Polars. ⇐ Python

[Anonymous]

Я пытаюсь прочитать файл паркета на GCP, который находится на GCS, с помощью Polars. Я сталкиваюсь с ошибкой при попытке использовать pl.read_parquet("gs://...") или pl.scan_parquet("gs://...") – жалуется Polars что он не может прочитать файл JSON учетной записи службы, поскольку он не существует. У меня есть переменная среды с учетной записью службы, но это просто адрес электронной почты, а не путь к файлу JSON. Из-за политики компании я не могу получить файл JSON.
Я надеялся, что Polars не будет запрашивать у меня учетную запись службы JSON, начиная с версии 1.10, когда я предоставляю credential_provider code> аргумент для функций чтения/сканирования, но он все равно работает.
Я бы хотел избежать использования pyarrow посередине, потому что в прошлом у меня это не очень хорошо работало. многопроцессорный контекст. Обходной путь, который я сейчас использую, — сначала загрузить паркеты в локальную файловую систему с помощью gsutil, но это немного громоздко.

Подробнее здесь: https://stackoverflow.com/questions/791 ... ith-polars