Рекомендуемая конфигурация GenerationConfig для студентов LLM в медицинской области: стратегии минимизации галлюцинаций ⇐ Python

[Anonymous]

В настоящее время я развертываю большую языковую модель (например, Llama 3/Mistral) для медицинского применения, особенно для таких задач, как обобщение клинических записей и извлечение информации из отчетов об онкологиях.
В клинических условиях фактическая точность и последовательность гораздо более важны, чем лингвистическое творчество. Мне нужен совет о том, как оптимизировать GenerationConfig, чтобы обеспечить максимально безопасный вывод.
В частности, у меня есть следующие вопросы:

• Температура и Top-p: Является ли стандартной практикой устанавливать температуру на очень низкое значение (например, 0,1 или даже 0) для максимизации детерминизма, или это приводит к повторяющийся/ухудшенный результат в медицинском контексте?
• Параметры штрафа: Как мне сбалансировать повторение_пеналти и присутствие_пеналти, чтобы не пропускать важные медицинские симптомы и при этом не допускать зацикливания модели?

Любые идеи или документы, касающиеся настройки параметров для важных задач LLM для конкретной предметной области будем очень признательны.