Llama-Api перестает работать после второго запроса ⇐ Python

[Anonymous]

Я пытаюсь генерировать данные на основе предыдущих текстов через LLMS и, следовательно, делаю последовательные призывы ко всем текстам, которые у меня есть. Я сделал это до сих пор с библиотеками Python Openai и Ollama, и это работало очень хорошо. Поскольку у меня нет много вычислительной мощности для запуска многих моделей Ollama, я хотел попробовать Llama-API. По какой-то причине, однако, сценарий всегда перестает работать после обработки второго документа, то есть он остается застрявшим в запросе в течение 1-2 минут, а затем возвращает тайм-аут. < /P>
Я настраиваю и вызов следующей функции в цикле: < /p>
client = OpenAI(api_key=os.getenv("LLAMA_API_KEY"), base_url = "https://api.llama-api.com")

def get_generated_text(...):
response = client.chat.completions.create(model="llama3.3-70b",
messages=[
{"role": "system", "content": "..."},
{"role": "user", "content": "..."}
],
top_p=0.95)
return response.choices[0].message.content
< /code>
У кого -нибудь еще была эта проблема, или есть определенные лучшие практики, которые я не читал в документации? так много!

Подробнее здесь: https://stackoverflow.com/questions/794 ... nd-request