Переменное время отклика при одновременных вызовах API с помощью API ChatCompletion OpenAI ⇐ Python

[Anonymous]

У меня наблюдается переменное время отклика при одновременных вызовах API OpenAI ChatCompletion API с использованием Python ThreadPoolExecutor. Хотя я реализовал параллельные запросы для трех разных запросов, время выполнения этих трех запросов значительно различается: некоторые занимают гораздо больше времени, чем другие, несмотря на то, что все они запускаются одновременно.
Например, время ответа составляет:

• 2,58 секунды
• 4,44 секунды
• 12,00 секунды

Окружение

• Модель: GPT-4o-mini
• Уровень: 1
• Средний размер токена: I /P = 5000 , O/p = ~300

Мне нужны идеи по оптимизации этих вызовов для получения дополнительной информации. согласованное время ответа и любые стратегии эффективного управления одновременными запросами к API.
def main(input_data):

example_op= input_data['output_format']
actual_prompt = input_data['prompt']
text = input_data['text']
filename = input_data['file_name']

start = time.time()
completion = openai.ChatCompletion.create(
model='gpt-4o-mini',
messages = [
{'role': "system", "content": SYSTEM},
{'role': "user", "content": EXAMPLE_PROMPT},
{'role': "assistant", "content": json.dumps(example_op)},
{'role': "user", "content": actual_prompt.format(text)}
] ,
temperature = 0,
max_tokens = 1000

)
end = time.time()
print('Time taken : ', end-start)
return completion

prompts = [
{"output_format" : EXAMPLE_OUTPUT_EXPERIENCE , "prompt" : ACTUAL_PROMPT_EXPERIENCE, "text" : text, "file_name" : 'filename' },
{"output_format" : EXAMPLE_OUTPUT_EDUCATION , "prompt" : ACTUAL_PROMPT_EDUCATION, "text" : text, "file_name" : 'filename'},
{"output_format" : EXAMPLE_OUTPUT_PI , "prompt" : ACTUAL_PROMPT_PI, "text" : text, "file_name" : 'filename'} ]

from concurrent.futures import ThreadPoolExecutor

with ThreadPoolExecutor(max_workers=3)as executer:
response = executer.map(main1, prompts)
res =


Подробнее здесь: https://stackoverflow.com/questions/790 ... letion-api