Как сохранить контекст разговора нескольких пользователей отдельно для чат-бота LLM, написанного на Python-Flask ⇐ Python

[Anonymous]

Заранее приносим извинения, возможно, это легко исправить. Я все еще новичок в программировании и постоянно учусь.
Я работаю над чат-ботом, используя Python Flask, LLM OpenAI и индексную библиотеку LLAMA. В настоящее время он размещается на AWS.
Сейчас все, кто его использует, независимо от устройства, имеют одну и ту же историю чата. Итак, если один человек скажет, что его зовут Боб, любой может спросить: «Как меня зовут?» и бот ответит «Боб». Я хочу сделать так, чтобы у каждого человека была своя история чата с ботом, даже если он переключается между устройствами. Таким образом, чат-бот может запоминать разговоры с отдельными пользователями, а не смешивать все чаты вместе.
Я знаю, что LLM не имеет состояния, поэтому каждый вызов API должен быть новым вызовом, и я знаю, что это так. использую индекс Llama для передачи истории чата, но я не знаю, как начать новый сеанс для каждого устройства/пользователя.
Я тестировал это за пределами AWS на своем локальном компьютере, используя разные браузеры, поэтому я не думаю, что это NGINX.
Я также пробовал библиотеку Flask Sessions, но безуспешно.
Кто-нибудь делал что-то подобное или есть какие-либо советы о том, где начать?

Подробнее здесь: https://stackoverflow.com/questions/781 ... atbot-code