Официальная документация Boto3 рекомендует создавать новый ресурс для каждого потока: https://boto3.amazonaws.com/v1/document ... -resources
В Botocore 1.28.0 добавлена функция, которая генерирует список всех возможных конечных точек при создании ресурса: https://github.com/boto/botocore/pull/2785
У меня есть набор тестов, который использует motoserver и приложение, которое в значительной степени полагается на параллельную загрузку с / выгрузку. в s3 из пула процессов. В botocore 1.28.0 выполнение набора тестов занимает на 20 больше времени по сравнению с предыдущей версией.
Я проделал некоторую работу с cProfile и могу подтвердить что как минимум половина дополнительного времени тратится внутри метода load_service_model botocore, вызываемого во время создания клиента botocore. Остальные ~50% дополнительного времени пока не отследил, но они где-то связаны с использованием ботокора.
Что я могу сделать, чтобы снова ускорить этот процесс с помощью обновления версии?
Подробнее здесь: https://stackoverflow.com/questions/780 ... pplication
Botocore >= 1.28.0 медленнее в многопоточном приложении ⇐ Python
-
- Похожие темы
- Ответы
- Просмотры
- Последнее сообщение