RuntimeError: смешанный тип dtype (ЦП): ожидается, что входные данные будут иметь скалярный тип BFloat16. ⇐ Python

[Anonymous]

Я пытаюсь использовать Chatglm-6b в своем приложении, поэтому я взял код, представленный на карточке модели, но продолжаю получать сообщение об ошибке RuntimeError: смешанный тип dtype (ЦП): ожидайте, что входные данные будут иметь скалярный тип BFloat16< /p>
Я попробовал этот код:

Код: Выделить всё

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)

Поскольку на моем компьютере нет Cuda, я удалил `.half().cuda()


Подробнее здесь: https://stackoverflow.com/questions/762 ... f-bfloat16