Есть ли способ прочитать статическую таблицу при использовании поляров для каталога sqlite с PyIceberg? ⇐ Python

[Anonymous]

Я делаю PoC с помощью Polars PyIceberg и следую этому руководству от tabular.io.
Мне удалось заставить все работать с помощью каталога sqlite. Теперь я пытаюсь проверить, смогу ли я прочитать статическую таблицу непосредственно из файла Metadata.json. В учебнике говорится:

Код: Выделить всё

df = pl.scan_iceberg(
"s3://bucket/path/to/iceberg-table/metadata.json", ...
)

Однако мой локальный склад выглядит вот так


Мне удалось это сделать

Код: Выделить всё

def get_latest(path: Path, pattern: str = "*"):
files = path.glob(pattern)
return max(files, key=lambda x: x.stat().st_ctime).as_posix()

pl.scan_iceberg(get_latest(warehouse_path / "dis.db/zorgproducten/metadata", "*.metadata.json")).collect()

Но мне было интересно: нет ли в PyIceberg (или в спецификации Iceberg) встроенного метода, позволяющего сделать это правильно? Это кажется немного хакерским. Или это не поддерживается каталогом sqlite?

Подробнее здесь: https://stackoverflow.com/questions/783 ... atalog-wit