Должен ли входной размер ламы совпадать с выходным размером (ожидаемый входной размер пакета должен соответствовать целе ⇐ Python

[Anonymous]

Когда я точно настраиваю Llama3.2(11B/8B) для генерации целевого текста

Код: Выделить всё

with self.maybe_autocast():
outputs = self.llama_model(
input_ids=None,
inputs_embeds=concat_inputs_embeds,
attention_mask=mask,
labels=targets
)
loss = outputs.loss
return loss

Код: Выделить всё

concat_inputs_embeds

— это объединение встраивания контекста и input_token

Код: Выделить всё

targets

являются целевыми токенами. переопределить ">

Код: Выделить всё

 loss = model(batch)
^^^^^^^^^^^^
..........
outputs = self.llama_model(
^^^^^^^^^^^^^^^^^
.........
ValueError: Expected input batch_size (156) to match target batch_size (114).

Я печатаю форму тензора перед расчетом CEloss:

Код: Выделить всё

conncat_inputs_embeds.shape: torch.Size([2, 79, 4096])

targets.shape: torch.Size([2, 58])

2:batch_size
79/58:length
4096:feature_dim

Интуитивно понятно, что для расчета перекрестной энтропийной потери нам нужно, чтобы выходные данные и метка имели одинаковую длину, так зачем мне сопоставлять длину входных данных и длину метки？Что делать, если длина введенных данных и длина метки естественным образом несовместимы?
Я попробовал добавить в метку несколько токенов (например, пакетный_размер=) 2, padding_length=30),
ошибка изменилась:

Код: Выделить всё

ValueError: Expected input batch_size (156) to match target batch_size (174).

В сочетании с вышеупомянутыми попытками я думаю, что это вызвано несоответствием между длиной входных данных и длиной метки.
Как я могу решить эту проблему?

Подробнее здесь: https://stackoverflow.com/questions/793 ... imension-e