Вывод LLM возвращает недетерминированный результат, несмотря на фиксированные семена и температуру во время производстве ⇐ Python

[Anonymous]

Я разрабатываю генеративный сервис искусственного интеллекта, использующий большую языковую модель для генерации текста. Во время локального тестирования и запуска я заметил, что результаты вывода не являются детерминированными даже при использовании одних и тех же входных данных и конфигурации.
Упрощенный код:

Код: Выделить всё

import random
import torch

random.seed(42)
torch.manual_seed(42)

response = llm.generate(
prompt="Generate a concise Salesforce Apex trigger example",
temperature=0,
top_p=1.0
)

Ошибка/неожиданное поведение

Повторяющиеся вызовы вывода с одним и тем же приглашением дают немного разные результаты (формулировка и структура предложения), даже если случайное начальное число и параметры генерации фиксированы.
Что я пробовал

• Исправлены случайные начальные числа на уровне платформы
• Задана температура = 0 и top_p = 1,0
• Проверено, что используется та же версия модели.
• Отключены потоковые ответы

Проблема по-прежнему возникает, особенно при одновременных запросах.
/>Вопрос

Какие части вывода LLM привносят недетерминизм в эту схему и какие изменения необходимы, чтобы гарантировать детерминированный результат во время производственного вывода?

Подробнее здесь: https://stackoverflow.com/questions/798 ... temperatur