Есть ли смысл устанавливать `fp16_full_eval=True` при обучении в `fp16`? ⇐ Python

[Anonymous]

Я тренирую модель Huggingface с fp16=True, например:

Код: Выделить всё

    training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
learning_rate=4e-5,
lr_scheduler_type="cosine",
per_device_train_batch_size=32,
per_device_eval_batch_size=16,
num_train_epochs=3,
weight_decay=0.01,
fp16=True,
)

Есть ли смысл также устанавливать fp16_full_eval=True? Или это уже подразумевается fp16=True?
Тот же вопрос для bf16.

Подробнее здесь: https://stackoverflow.com/questions/786 ... ng-in-fp16