Потоковая передача результатов ChatGPT с помощью Flask и LangChain ⇐ Python

[Anonymous]

По сути, я хочу добиться этого с помощью Flask и LangChain: .
Я создаю приложение Q&A Flask, которое использует LangChain в серверной части, но у меня возникли проблемы с потоковой передачей ответа от ChatGPT. Моя цепочка выглядит так:

Код: Выделить всё

chain = VectorDBQA.from_chain_type(llm=ChatOpenAI(model_name="gpt-3.5-turbo", streaming=True, chain_type="stuff", vectorstore=docsearch)
...
result = chain({"query": query})
output = result['result']

Jinja просто печатает {{ вывод }}, и он работает нормально, но результат не появляется на веб-сайте, пока не будет завершен весь ответ. Я хочу передать результат в потоковом режиме, когда он генерируется ChatGPT.
Я пробовал использоватьstream_template, но он не работает (он не передает результат, он просто печатает полный ответ сразу, хотя, возможно, я делаю что-то не так).

Наконец-то я решил эту проблему:
https://github.com/DanteNoguez/FlaskGPT

Подробнее здесь: https://stackoverflow.com/questions/758 ... -langchain