Запуск Ollama на локальном компьютере и подсказки из блокнота Jupyter – вспоминает ли модель предыдущие подсказки, как е ⇐ Python

[Anonymous]

Я провожу несколько тестов с использованием Ollama на локальном компьютере с Llama 3.2, которые заключаются в вызове задачи для документа.
Я читал, что после достижения максимального контекста мне следует перезапустить сеанс:
https://www.reddit.com/r/ollama/comment ... t/n2bgj2r/
Это утверждение меня сбивает с толку, потому что я не знаю знать, что такое сеанс, когда я запускаю сервер на локальном компьютере.
Заставляет задуматься, следует ли мне перезапускать сервер оллама каждый раз, когда я запускаю эксперимент.
Эксперимент заключается в выполнении приглашения к документу; Я тестирую влияние различных подсказок и размера контекста; Я запускаю тест снова и снова, каждый раз присваивая результаты одной и той же переменной, и повторяю так:

Код: Выделить всё

from ollama import chat, ChatResponse, Options

def get_completion(prompt: str, system_prompt="", prefill=""):
response = chat(
model=MODEL_NAME,
options=Options(
max_tokens=2000,
temperature=0.0,
num_ctx=2048*4,
),
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": prompt},
{"role": "assistant", "content": prefill}

]
)
return response.message.content

А затем сохраните результаты

Код: Выделить всё

results = get_completion(PROMPT, SYSTEM_PROMPT, PREFILL)
# Save on file

# Change Prompt
# Repeat

Однако не уверен, хранит ли модель внутреннюю память о предыдущих запросах и их результатах: является ли последний запрос независимым или смещенным от предыдущих «чатов»?
Должен ли я перезапускать сервер каждый раз, чтобы убедиться, что тест приглашения не зависит от предыдущих тестов, или нет необходимости?
Благодарен, если вы могли бы уточнить, что такое сеанс, когда ollama запускает модель на локальном компьютере и подсказки выполняется в ячейках juptyter (я имею в виду, что чат не является непрерывным).

Подробнее здесь: https://stackoverflow.com/questions/797 ... k-does-the