Как преобразовать число с плавающей запятой (1-битный знак, 8-битное выражение, 23-битная мантисса) в Bfloat16 (1-битный знак, 8-битное выражение, 7-битная мантисса) в C++?
Как преобразовать число с плавающей запятой (1-битный знак, 8-битное выражение, 23-битная мантисса) в Bfloat16 (1-битный знак, 8-битное выражение, 7-битная мантисса) в C++?
Я пытаюсь использовать модель bigscience/bloom в macOS для завершения текста. Вот скрипт Python, который я использую:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
Каков идиоматический способ сохранения bfloat torch.tensor на диск в виде необработанного двоичного файла? Код ниже выдаст ошибку, поскольку numpy не поддерживает bfloat16.
import torch
import numpy as np
Мобильная версия