Как отменить tokenizer.apply_chat_template() ⇐ Python

[Anonymous]

Код: Выделить всё

# Chat template example
prompt = [
{ "role": "user", "content": "Random prompt."},
]

# Applying chat template
prompt = tokenizer.apply_chat_template(chat)

Можно ли как-нибудь преобразовать строку Prompr обратно в исходный массив?
Моя проблема: если я не использую конвейер ответ представляет собой строку, и мне нужно вручную проанализировать ее, я пытаюсь понять, как конвейер анализирует ее под капотом

Подробнее здесь: https://stackoverflow.com/questions/792 ... t-template