Botocore >= 1.28.0 медленнее в многопоточном приложенииPython

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Botocore >= 1.28.0 медленнее в многопоточном приложении

Сообщение Anonymous »

Официальная документация Boto3 рекомендует создавать новый ресурс для каждого потока: https://boto3.amazonaws.com/v1/document ... -resources
В Botocore 1.28.0 добавлена ​​функция, которая генерирует список всех возможных конечных точек при создании ресурса: https://github.com/boto/botocore/pull/2785
У меня есть набор тестов, который использует motoserver и приложение, которое в значительной степени полагается на параллельную загрузку с / выгрузку. в s3 из пула процессов. В botocore 1.28.0 выполнение набора тестов занимает на 20 больше времени по сравнению с предыдущей версией.
Я проделал некоторую работу с cProfile и могу подтвердить что как минимум половина дополнительного времени тратится внутри метода load_service_model botocore, вызываемого во время создания клиента botocore. Остальные ~50% дополнительного времени пока не отследил, но они где-то связаны с использованием ботокора.
Что я могу сделать, чтобы снова ускорить этот процесс с помощью обновления версии?

Подробнее здесь: https://stackoverflow.com/questions/780 ... pplication
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»