Как подключиться к S3 без большого пакета AWS SDK v2? ⇐ JAVA

[Anonymous]

Я пытаюсь прочитать файл из S3 с помощью PySpark 4.0.1 и S3AFileSystem.
Стандартная конфигурация с использованием Hadoop-aws 3.4.1 работает, но для нее требуется пакет AWS SDK. Размер этой единственной зависимости превышает 530 МБ, что значительно увеличивает размер развертывания моего приложения.
Моя цель — найти минимальный набор зависимостей AWS SDK v2, необходимых библиотеке Hadoop-aws для подключения к S3, не включая весь пакет. Мне известно об открытой проблеме в Jira Spark, но решения пока нет.
Я пытался включить только com.amazonaws:aws-java-sdk-s3 и другие подзависимости, но всегда нажимал:

Код: Выделить всё

Py4JJavaError: An error occurred while calling o83.parquet.
: java.lang.NoClassDefFoundError:
software/amazon/awssdk/utils/builder/ToCopyableBuilder

Кто-нибудь успешно определил минимальный набор артефактов, необходимый для базовой операции чтения/записи s3a:// с помощью Spark?


Подробнее здесь: https://stackoverflow.com/questions/797 ... -v2-bundle