Очень медленный list_objects_v2 в minio ⇐ Python

[Anonymous]

Я использую последнюю версию Minio в Docker на двух серверах. Один находится в моей локальной сети, другой на удаленном сервере. Конфигурация по умолчанию, том расположен на жестком диске, а не на SSD.
Ведро содержит около 400 тысяч объектов, ~70 ГБ.
У меня есть следующее код (с последней версией boto3):

Код: Выделить всё

        paginator = s3_client.get_paginator('list_objects_v2')
page_iterator = paginator.paginate(Bucket=bucket_name)

for page in page_iterator:
keys = [obj['Key'] for obj in page.get('Contents', [])]
...

И каждая итерация в большинстве случаев (но не в 100%) происходит очень медленно на обоих серверах, итерация более 400 тыс. объектов может занять часы. Иногда это работает нормально.
С другой стороны, PUT/HEAD работают очень быстро, поэтому я не думаю, что это проблема с диском (особенно на двух разных серверах с разным оборудованием). Загрузка ЦП/ОЗУ низкая. Других параллельных запросов к minio совершенно нет (это внутренние сервера и они пока не используются).
Как его ускорить? Может быть, я делаю что-то не так и есть лучший способ собрать все ключи в корзину?

Подробнее здесь: https://stackoverflow.com/questions/777 ... 2-in-minio