Использование `bitsandbytes` Для 4-битного квантования требуется последняя версия bitsandbytes: `pip install -U bitsandb ⇐ Python

[Anonymous]

При загрузке токенизатора я получил следующую ошибку:

Код: Выделить всё

ImportError: Using bitsandbytes 4-bit quantization requires the latest version of bitsandbytes:
pip install -U bitsandbytes.

Я использую ноутбук Jupyter на Macbook M2 pro.
Ниже приведен исходный код:

Код: Выделить всё

quant_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_use_double_quant=True,
bnb_4bit_compute_dtype=torch.bfloat16,
bnb_4bit_quant_type="nf4"

tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL, trust_remote_code=True)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = "right"

base_model = AutoModelForCausalLM.from_pretrained(
BASE_MODEL,
quantization_config=quant_config,
device_map="auto",
)

base_model.generation_config.pad_token_id = tokenizer.pad_token_id

Может ли кто-нибудь помочь с этим?
Я обновил биты и байты в соответствии с инструкциями, но ошибка не устранена.>

Подробнее здесь: https://stackoverflow.com/questions/793 ... -bitsandby