Проблема начинается с более длинного текста. Вторая проблема — это обычный максимальный размер токена (512) секвенсоров. Просто урезать — это не вариант. Здесь я нашел обходной путь, но он не работает должным образом, и в результате в более длинных текстах (> 300 последовательностей) получается словесный салат.
Вот пример (пожалуйста, игнорируйте предупреждения, это еще одна проблема, которая сейчас не так уж и вредна);
Если я возьму пример предложения 2 (55 последовательностей) или 5 раз (163 последовательности) - нет проблем.
Но все запуталось, например. 433 последовательности (третий зеленый текстовый блок на скриншоте).
Имея более 510 последовательностей, я попытался разбить их на куски, как в описанной выше ссылке. Но и тут результат довольно странный.
Я почти уверен - что у меня не одна ошибка и недооценка этой темы.
Но альтернативы (бесплатной) я не вижу /дешевый) способ перевода большого объема текста.
Можете ли вы мне помочь? Какие (мыслительные) ошибки вы видите и как бы вы предложили решить эти проблемы? Большое спасибо.
Код: Выделить всё
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import torch
if torch.cuda.is_available():
dev = "cuda"
else:
dev = "cpu"
device = torch.device(dev)
mname = 'Helsinki-NLP/opus-mt-de-en'
tokenizer = AutoTokenizer.from_pretrained(mname)
model = AutoModelForSeq2SeqLM.from_pretrained(mname)
model.to(device)
chunksize = 512
text_short = "Nach nur sieben Seiten appellierte man an die Wählerinnen und Wähler, sich richtig zu entscheiden, nämlich für Frieden, Freiheit, Sozialismus. "
text_long = text_short
#this loop is just for debugging/testing and simulating long text
for x in range(30):
text_long = text_long + text_short
tokens = tokenizer.encode_plus(text_long, return_tensors="pt", add_special_tokens=True, padding=False, truncation=False).to(device)
str_len = len(tokens['input_ids'][0])
if str_len > 510:
# split into chunks of 510 tokens, we also convert to list (default is tuple which is immutable)
input_id_chunks = list(tokens['input_ids'][0].split(chunksize - 2))
mask_chunks = list(tokens['attention_mask'][0].split(chunksize - 2))
cnt = 1
for tensor in input_id_chunks:
print('\033[96m' + 'chunk ' + str(cnt) + ': ' + str(len(tensor)) + '\033[93m')
cnt += 1
# loop through each chunk
# https://towardsdatascience.com/how-to-apply-transformers-to-any-length-of-text-a5601410af7f
for i in range(len(input_id_chunks)):
# add CLS and SEP tokens to input IDs
input_id_chunks[i] = torch.cat([
torch.tensor([101]).to(device), input_id_chunks[i], torch.tensor([102]).to(device)
])
# add attention tokens to attention mask
mask_chunks[i] = torch.cat([
torch.tensor([1]).to(device), mask_chunks[i], torch.tensor([1]).to(device)
])
# get required padding length
pad_len = chunksize - input_id_chunks[i].shape[0]
# check if tensor length satisfies required chunk size
if pad_len > 0:
# if padding length is more than 0, we must add padding
input_id_chunks[i] = torch.cat([
input_id_chunks[i], torch.Tensor([0] * pad_len).to(device)
])
mask_chunks[i] = torch.cat([
mask_chunks[i], torch.Tensor([0] * pad_len).to(device)
])
input_ids = torch.stack(input_id_chunks)
attention_mask = torch.stack(mask_chunks)
input_dict = {'input_ids': input_ids.long(), 'attention_mask': attention_mask.int()}
outputs = model.generate(**input_dict)
#this doesnt work - following error comes to the console --> "host_softmax" not implemented for 'Long'
#probs = torch.nn.functional.softmax(outputs[0], dim=-1)
# probs
# probs = probs.mean(dim=0)
# probs
else:
tokens["input_ids"] = tokens["input_ids"][:, :512] #truncating normally not necessary
tokens["attention_mask"] = tokens["attention_mask"][:, :512]
outputs = model.generate(**tokens)
decoded = tokenizer.decode(outputs[0], skip_special_tokens=True)
print('\033[94m' + str(str_len))
print('\033[92m' + decoded)
pip3 install torch==1.9.0+cu102 torchvision==0.10.0+cu102 torchaudio===0.9.0 -f https://download.pytorch.org/whl/torch_stable.html
установка трансформаторов в пунктах
pip install, часть предложения
Подробнее здесь: https://stackoverflow.com/questions/681 ... larger-tex
