DuckDB для чтения нескольких файлов паркета на s3 ⇐ Python

[Anonymous]

Я пытаюсь использовать DuckDB с расширением HTTPFS для запроса около 1000 файлов паркета с одной и той же схемой из корзины s3 с аналогичным ключом.
Когда я запрашиваю один файл с помощью Duckdb, я могу получить таблицу

Код: Выделить всё

import duckdb
import pandas as pd

cursor = duckdb.connect()

df = cursor.execute(f"""
INSTALL httpfs;
LOAD httpfs;
SET s3_region='{s3_region}';
SET s3_access_key_id='{access_key_id}';
SET s3_secret_access_key='{secret_access_key}';

SELECT *
FROM parquet_scan(['s3:://bucket/folder/fname.parquet'],
FILENAME = 1);
""").df()

Однако, когда я использую подстановку файлов, как описано в документации (https://duckdb.org/docs/extensions/httpfs), я получаю сообщение Duckdb.Error: Invalid Error: HTTP GET error, которое представляет собой HTTP 403 (Доступ запрещен).

Код: Выделить всё

SELECT *
FROM parquet_scan(['s3:://bucket/folder/*.parquet'],
FILENAME = 1);

Я думал, что это просто проблема с разрешениями AWS IAM, но я предоставил список и доступ на чтение ко всему сегменту, поэтому, насколько мне известно, это не так.
Что вызывает эту ошибку?>

Подробнее здесь: https://stackoverflow.com/questions/741 ... iles-on-s3