«Аргументы ключевого слова {'min_length': 0} не распознаны». токенизатор в трансформатореPython

Программы на Python
Anonymous
«Аргументы ключевого слова {'min_length': 0} не распознаны». токенизатор в трансформаторе

Сообщение Anonymous »

Я загружаю:

Код: Выделить всё

import torch
from torch.utils.data import Dataset, DataLoader
from transformers import RobertaTokenizer, T5ForConditionalGeneration

model = T5ForConditionalGeneration.from_pretrained("codet5-base"]).to(device)
tokenizer = RobertaTokenizer.from_pretrained("codet5-base")
и тогда у меня есть:

Код: Выделить всё

tok = tokenizer([self.cmd_i], min_length = 0, max_length= 512, pad_to_max_length=True, truncation=True, padding="max_length", return_tensors='pt')
При попытке обучить код модели T5 я получаю следующую ошибку

Код: Выделить всё

Keyword arguments {'min_length': 0} not recognized
Почему?
Версия Transformer: 4.44.2
Версия Pytorch: 2.4.0
Версия Python: 3.11.9
Версия ОС: Win 11
Я не смог найти в Интернете ничего, что могло бы помочь

Подробнее здесь: https://stackoverflow.com/questions/790 ... ransformer

Вернуться в «Python»