Генерирование частичной строки в качестве выходного сигнала после тонкой настройки модели T5 ⇐ Python

[Anonymous]

Я использую тонкую модель T5 для выполнения проверки орфографии в моем наборе данных, состоящей из обзоров. Тем не менее, я сталкиваюсь с проблемой, в которой модель при выполнении проверки орфографии не дает целой строки в виде вывода или иногда повторяет фразы данного обзора. Это не в больших количествах, но существуют некоторые отзывы. Во время тонкой настройки модели у потери и проверки и валидации составили 0,0003 и 0,0002 соответственно . Я также приложил свой код и 2 обзора для вашей ссылки. < /P>
class ReviewDataset(Dataset):
def __init__(self, texts):
self.inputs = ["fix: " + text for text in texts]

def __len__(self):
return len(self.inputs)

def __getitem__(self, idx):
return self.inputs[idx]

def collate_fn(batch):
encodings = tokenizer(
batch,
padding=True,
truncation=True,
max_length=128,
return_tensors="pt"
)
return encodings
< /code>
для цикла, который выполняет задачу: < /p>
all_predictions = []

with torch.no_grad():
for batch in dataloader:
input_ids = batch["input_ids"].to(device)
attention_mask = batch["attention_mask"].to(device)

outputs = model.generate(input_ids=input_ids, attention_mask=attention_mask, max_length=64)
decoded = tokenizer.batch_decode(outputs, skip_special_tokens=True)
all_predictions.extend(decoded)```
< /code>
Отзывы приведены ниже:
1) Согласно глобальному обзору, я приобрел этот продукт. Также я использовал этот продукт в течение 5 раз из моей 1 -й покупки бутылки. Внезапно цвет продукта превращается в золотой и мерцающий. Пока я распылял продукт на моем лице, он был истощен в мерцающей жидкой форме. Это было настоящим шоком для меня .. это большая проблема ..... < /p>
Согласно глобальному обзору, который я приобрел этот продукт. Также я использовал этот продукт в течение 5 раз из своей первой покупки бутылки. Внезапно цвет продукта превращается в золотисто -золотой и мерцающий. Пока я распылял продукт на лице, он был истощен в мерцающей жидкой форме. Это был
2) Я буквально не очень доволен этим продуктом, я разочарован этим продуктом
Я буквально не очень доволен этим продуктом, я разочарован этим продуктом, я разочарован этим продуктом.

Подробнее здесь: https://stackoverflow.com/questions/796 ... g-t5-model