«Аргументы ключевого слова {'min_length': 0} не распознаны». токенизатор в трансформатореPython

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 «Аргументы ключевого слова {'min_length': 0} не распознаны». токенизатор в трансформаторе

Сообщение Anonymous »

Я загружаю:

Код: Выделить всё

import torch
from torch.utils.data import Dataset, DataLoader
from transformers import RobertaTokenizer, T5ForConditionalGeneration

model = T5ForConditionalGeneration.from_pretrained("codet5-base"]).to(device)
tokenizer = RobertaTokenizer.from_pretrained("codet5-base")
и тогда у меня есть:

Код: Выделить всё

tok = tokenizer([self.cmd_i], min_length = 0, max_length= 512, pad_to_max_length=True, truncation=True, padding="max_length", return_tensors='pt')
При попытке обучить код модели T5 я получаю следующую ошибку

Код: Выделить всё

Keyword arguments {'min_length': 0} not recognized
Почему?
Версия Transformer: 4.44.2
Версия Pytorch: 2.4.0
Версия Python: 3.11.9
Версия ОС: Win 11
Я не смог найти в Интернете ничего, что могло бы помочь

Подробнее здесь: https://stackoverflow.com/questions/790 ... ransformer
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»