Llama-3.2-1B-Instruct генерирует противоречивые выходные данные ⇐ Python

[Anonymous]

Я хочу использовать модель Llama-3.2-1B-Instruct, и хотя я установил «temperature»: 0.0, «top_p»:0.0 и «top_k»:0, она все равно генерирует непоследовательный вывод. Вот как выглядит мой конвейер:

Код: Выделить всё

pipe = pipeline(
"text-generation",
model=model_id,
torch_dtype=torch.bfloat16,
device_map="mps",
model_kwargs={"temperature": 0.0,
"do_sample":True,
"top_p":0.0,
"top_k":0,},
)

Есть идеи, как решить эту проблему?

Подробнее здесь: https://stackoverflow.com/questions/792 ... ent-output