Как выбрать подмножество eval_dataset при обучении с помощью Huggingface Trainer? ⇐ Python

[Anonymous]

При использовании трейнера трансформеров Huggingface, например

Код: Выделить всё

# set training arguments - these params are not really tuned, feel free to change
training_args = Seq2SeqTrainingArguments(
output_dir="./",
evaluation_strategy="steps",
per_device_train_batch_size=50,
per_device_eval_batch_size=10,
predict_with_generate=True,
logging_steps=2,  # set to 1000 for full training
save_steps=16,    # set to 500 for full training
eval_steps=4,     # set to 8000 for full training
warmup_steps=1,   # set to 2000 for full training
max_steps=16,     # delete for full training
# overwrite_output_dir=True,
save_total_limit=1,
#fp16=True,
)

# instantiate trainer
trainer = Seq2SeqTrainer(
model=multibert,
tokenizer=tokenizer,
args=training_args,
train_dataset=train_data.with_format("torch"),
eval_dataset=eval_data.with_format("torch"),
)

Есть ли способ случайного выбора/выборки данных из eval_data на каждом n eval_steps?
Например. Я пробовал

Код: Выделить всё

eval_data = eval_data.select(range(3000))

...

trainer = Seq2SeqTrainer(
model=multibert,
tokenizer=tokenizer,
args=training_args,
train_dataset=train_data.with_format("torch"),
eval_dataset=eval_data.with_format("torch"),
)

Но это будет статическое определение подмножества eval_data перед обучением.
Можно ли сделать выбор во время обучения и сделать так, чтобы в каждой точке оценки выбиралось другое подмножество?

Подробнее здесь: https://stackoverflow.com/questions/742 ... ace-traine