Как я могу ускорить QA Langchain с помощью load_qa_with_sources_chain? ⇐ Python

[Anonymous]

В настоящее время я запускаю модель контроля качества с использованием load_qa_with_sources_chain(). Однако, когда я запускаю его с тремя частями по 10 000 токенов каждый, для возврата ответа требуется около 35 секунд. Я хотел бы ускорить это.
Может ли кто-нибудь объяснить, что влияет на скорость работы функции и есть ли способ сократить время вывода. Если это невозможно, какие еще изменения вы могли бы предпринять, чтобы увеличить скорость контроля качества исходников?
Я пробовал менять размер текстовых фрагментов, но это не дало существенного эффекта. Я использую цепочку map_reduce. Я использую Python3.10.

Подробнее здесь: https://stackoverflow.com/questions/762 ... rces-chain