Официальная документация Boto3 рекомендует создавать новый ресурс для каждого потока: https://boto3.amazonaws.com/v1/document ... -resources
В Botocore 1.28.0 добавлена функция, которая генерирует список всех возможных конечных точек при создании ресурса: https://github.com/boto/botocore/pull/2785
У меня есть набор тестов, который использует motoserver и приложение, которое в значительной степени полагается на параллельную загрузку с / выгрузку. в s3 из пула процессов. В botocore 1.28.0 выполнение набора тестов занимает на 20 больше времени по сравнению с предыдущей версией.
Я проделал некоторую работу с cProfile и могу подтвердить что как минимум половина дополнительного времени тратится внутри метода load_service_model botocore, вызываемого во время создания клиента botocore. Остальные ~50% дополнительного времени пока не отследил, но они где-то связаны с использованием ботокора.
Что я могу сделать, чтобы снова ускорить этот процесс с помощью обновления версии?
Подробнее здесь: https://stackoverflow.com/questions/780 ... pplication
Botocore >= 1.28.0 медленнее в многопоточном приложении ⇐ Python
Программы на Python
-
Anonymous
1732729337
Anonymous
Официальная документация Boto3 рекомендует создавать новый ресурс для каждого потока: https://boto3.amazonaws.com/v1/documentation/api/latest/guide/resources.html#multithreading-or-multiprocessing-with-resources
В Botocore 1.28.0 добавлена функция, которая генерирует список всех возможных конечных точек при создании ресурса: https://github.com/boto/botocore/pull/2785
У меня есть набор тестов, который использует motoserver и приложение, которое в значительной степени полагается на параллельную загрузку с / выгрузку. в s3 из пула процессов. В botocore 1.28.0 выполнение набора тестов занимает на 20 больше времени по сравнению с предыдущей версией.
Я проделал некоторую работу с cProfile и могу подтвердить что как минимум половина дополнительного времени тратится внутри метода load_service_model botocore, вызываемого во время создания клиента botocore. Остальные ~50% дополнительного времени пока не отследил, но они где-то связаны с использованием ботокора.
Что я могу сделать, чтобы снова ускорить этот процесс с помощью обновления версии?
Подробнее здесь: [url]https://stackoverflow.com/questions/78078290/botocore-1-28-0-slower-in-multithread-application[/url]
Ответить
1 сообщение
• Страница 1 из 1
Перейти
- Кемерово-IT
- ↳ Javascript
- ↳ C#
- ↳ JAVA
- ↳ Elasticsearch aggregation
- ↳ Python
- ↳ Php
- ↳ Android
- ↳ Html
- ↳ Jquery
- ↳ C++
- ↳ IOS
- ↳ CSS
- ↳ Excel
- ↳ Linux
- ↳ Apache
- ↳ MySql
- Детский мир
- Для души
- ↳ Музыкальные инструменты даром
- ↳ Печатная продукция даром
- Внешняя красота и здоровье
- ↳ Одежда и обувь для взрослых даром
- ↳ Товары для здоровья
- ↳ Физкультура и спорт
- Техника - даром!
- ↳ Автомобилистам
- ↳ Компьютерная техника
- ↳ Плиты: газовые и электрические
- ↳ Холодильники
- ↳ Стиральные машины
- ↳ Телевизоры
- ↳ Телефоны, смартфоны, плашеты
- ↳ Швейные машинки
- ↳ Прочая электроника и техника
- ↳ Фототехника
- Ремонт и интерьер
- ↳ Стройматериалы, инструмент
- ↳ Мебель и предметы интерьера даром
- ↳ Cантехника
- Другие темы
- ↳ Разное даром
- ↳ Давай меняться!
- ↳ Отдам\возьму за копеечку
- ↳ Работа и подработка в Кемерове
- ↳ Давай с тобой поговорим...
Мобильная версия