Я пытаюсь выполнить точную настройку с помощью этого блокнота: GLiNER/examples/finetune.ipynb в main · urchade/GLiNER (github.com)
Однако в журналах отображается только ' loss' , что, как я предполагаю, является потерей набора обучающих данных, но потери набора проверочных данных не зарегистрированы
Я пытаюсь выполнить точную настройку с помощью этого блокнота: GLiNER/examples/finetune.ipynb в main · urchade/GLiNER (github.com) Однако в журналах отображается только ' loss' , что, как я предполагаю, является потерей набора обучающих данных, но потери набора проверочных данных не зарегистрированы [code]training_args = TrainingArguments( output_dir="models", learning_rate=5e-6, weight_decay=0.01, others_lr=1e-5, others_weight_decay=0.01, lr_scheduler_type='linear', #"cosine", warmup_ratio=0.1, per_device_train_batch_size=5, per_device_eval_batch_size=5, num_train_epochs=2, eval_strategy="epoch", save_steps = 100, save_total_limit=10, dataloader_num_workers = 1, use_cpu = True, disable_tqdm=False, logging_dir='logs', logging_steps=10, eval_steps=10, do_train=True, do_eval=True, seed=7, )
trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=test_dataset, tokenizer=model.data_processor.transformer_tokenizer, data_collator=data_collator) [/code] Где вычисляются потери при проверке?? Я хочу зарегистрировать потерю обучающего и проверочного наборов
У меня возникла проблема при переключении моего устройства на MPS. Мое обучение проходит без проблем на процессоре, но когда я настраиваю устройство на MPS, я получаю следующую ошибку:
RuntimeError: view size is not compatible with input tensor's...
Я пытаюсь точно настроить предварительную модель с ограниченным VRAM. Чтобы достичь этого, я использую квантование и автоматическую смешанную точность (AMP). Тем не менее, я сталкиваюсь с проблемой, которую я не могу решить. Не могли бы вы помочь...
Я работаю над проектом, который включает в себя чрезвычайно большое количество PDF. Каждый PDF является изображением обычного документа офисного типа. Каждая страница PDF хранится отдельный файл. Есть ли способ сделать это быстрее (то есть с более...
Я работаю над проектом, который включает в себя чрезвычайно большое количество PDF. Каждый PDF является изображением обычного документа офисного типа. Каждая страница PDF хранится отдельный файл. Есть ли способ сделать это быстрее (то есть с более...
Моя нейронная сеть
def buildModel(optimizer):
model = tf.keras.models.Sequential( )
model.compile(loss='categorical_crossentropy', optimizer=optimizer, metrics= )
return model