Генерация выходных данных из значений скрытого состояния последнего слоя ⇐ Python

[Anonymous]

Я манипулировал скрытыми значениями состояния, полученными из модели ламы-2 после подачи ей определенного входного сигнала, назовем его Input_1. Теперь я хочу изучить результат (причинный результат), который он производит в результате этого. Моя гипотеза состоит в том, что он должен соответствовать другому входу, назовем его Input_2, который будет давать отличный от исходного ввода результат.
Я получил значения скрытого состояния последнего слоя следующим образом. :

Код: Выделить всё

from transformers import LlamaModel, LlamaTokenizer, LlamaForCausalLM
tokenizer = LlamaTokenizer.from_pretrained(path_to_llama2)
model = LlamaModel.from_pretrained(path_to_llama2)
model_ = LlamaForCausalLM.from_pretrained(path_to_llama2)

tokenizer.pad_token = tokenizer.eos_token
inputs = tokenizer(prompt, return_tensors='pt')

with torch.no_grad():
outputs = model(**inputs, output_attentions=True, output_hidden_states=True)
hidden_states = outputs.hidden_states[-1]  # Last layer hidden states

Как показано выше, я пытался изменить значения скрытых состояний, полученные из модели, но теперь хочу сгенерировать причинно-следственные данные. Как мне это сделать? Есть предложения?

Подробнее здесь: https://stackoverflow.com/questions/784 ... ate-values