Как эффективно выполнять одновременные вызовы локальной модели Llama 3.1 с помощью пакета ollama-python? ⇐ Python

[Anonymous]

Я использую локальную модель Llama 3.1:7b. Я взаимодействую с моделью, используя Python и пакет ollama-python.
Мне нужно сделать более 20 000 вызовов модели, но сейчас я вызываю ее последовательно, что неэффективно. Я ищу способы повысить эффективность. В частности, я пытаюсь выяснить, есть ли способ:

• Группировать входные данные для одновременной отправки нескольких запросов.
• Использовать поточную обработку, многопроцессорную обработку или любую форму параллельной обработки для одновременной обработки нескольких вызовов вместо их последовательного выполнения.
• Улучшить общую скорость и время ответа для большого набора запросов.

Есть ли у кого-нибудь предложения или примеры кода для достижения этой цели с помощью пакета ollama-python или общие методы обработки одновременных вызовов API в Python? Даже если решение не связано конкретно с олламой, я готов услышать и о других подходах.
До сих пор я пробовал запускать модель последовательно, а сейчас пытаюсь организовать потоки вызовов.