Pyspark S3A: Как подключиться к S3 без большого пакета AWS SDK V2? ⇐ JAVA

[Anonymous]

Я пытаюсь прочитать какой-то файл из S3 с помощью Pyspark 4.0.1 и S3afilesystem .
Стандартная конфигурация с использованием работы Hadoop-AWS 3.4.1 работает, но для этого требуется пакет AWS SDK. Эта единственная зависимость более 530 МБ , что значительно увеличивает размер развертывания моего приложения. Я знаю об открытой проблеме на Jira's Spark, но еще нет решения.

Код: Выделить всё

Py4JJavaError: An error occurred while calling o83.parquet.
: java.lang.NoClassDefFoundError:
software/amazon/awssdk/utils/builder/ToCopyableBuilder

Кто -нибудь успешно идентифицировал минимальный набор артефактов, необходимых для базовой операции s3a: // read/write с Spark?

Подробнее здесь: https://stackoverflow.com/questions/797 ... -v2-bundle