Как я могу разрешить импортеррор с использованием квантования 4 -бит BitsAndbytes 4Bit требует последней версии BitsAndb ⇐ Python

[Anonymous]

Я пытаюсь использовать библиотеку BitsAndbytes для 4-битной квантования в моей функции загрузки модели, но я продолжаю встречаться с импортером. В сообщении об ошибке говорится: «Использование 4-битного квантования BitsAndbytes требует последней версии BitsAndbytes», хотя я уже установил версию 0.45.3. Я также пробовал обновление его с помощью PIP Install -u BitsAndbytes, но ошибка сохраняется. Кроме того, я импортировал BitsAndbytes в начале моего сценария (Import BitsAndbytes как BNB), но проблема продолжается. Любые предложения о том, как получить эту работу, были бы очень оценены!def get_model(model = CFG.model_name):

print('\nDownloading model: ', model, '\n\n')

if model == 'wizardlm':
model_repo = 'TheBloke/wizardLM-7B-HF'

tokenizer = AutoTokenizer.from_pretrained(model_repo)

bnb_config = bnb.BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.float16,
bnb_4bit_use_double_quant=True,
)

model = AutoModelForCausalLM.from_pretrained(
model_repo,
quantization_config = bnb_config,
device_map = 'auto',
low_cpu_mem_usage = True
)

max_len = 1024

elif model == 'llama2-7b-chat':
model_repo = 'daryl149/llama-2-7b-chat-hf'

tokenizer = AutoTokenizer.from_pretrained(model_repo, use_fast=True)

bnb_config = BitsAndBytesConfig(
load_in_4bit = True,
bnb_4bit_quant_type = "nf4",
bnb_4bit_compute_dtype = torch.float16,
bnb_4bit_use_double_quant = True,
)

model = AutoModelForCausalLM.from_pretrained(
model_repo,
quantization_config = bnb_config,
device_map = 'auto',
low_cpu_mem_usage = True,
trust_remote_code = True
)

max_len = 2048

elif model == 'llama2-13b-chat':
model_repo = 'daryl149/llama-2-13b-chat-hf'

tokenizer = AutoTokenizer.from_pretrained(model_repo, use_fast=True)

bnb_config = BitsAndBytesConfig(
load_in_4bit = True,
bnb_4bit_quant_type = "nf4",
bnb_4bit_compute_dtype = torch.float16,
bnb_4bit_use_double_quant = True,
)

model = AutoModelForCausalLM.from_pretrained(
model_repo,
quantization_config = bnb_config,
device_map = 'auto',
low_cpu_mem_usage = True,
trust_remote_code = True
)

max_len = 2048 # 8192

elif model == 'mistral-7B':
model_repo = 'mistralai/Mistral-7B-v0.1'

tokenizer = AutoTokenizer.from_pretrained(model_repo)

bnb_config = BitsAndBytesConfig(
load_in_4bit = True,
bnb_4bit_quant_type = "nf4",
bnb_4bit_compute_dtype = torch.float16,
bnb_4bit_use_double_quant = True,
)

model = AutoModelForCausalLM.from_pretrained(
model_repo,
quantization_config = bnb_config,
device_map = 'auto',
low_cpu_mem_usage = True,
)

max_len = 1024

else:
print("Not implemented model (tokenizer and backbone)")

return tokenizer, model, max_len
< /code>
и откуда ошибка происходит от: < /p>
tokenizer, model, max_len = get_model(model = CFG.model_name)
< /code>
Я попытался установить и обновить библиотеку Bitsandbytes до последней версии (0.45.3), используя следующую команду: < /p>
pip stall -u bitsandbytes
После этого я проверил, что библиотека была правильно установлена: < /p>
pip show bitsandbytes whes what shipring whes whes what wreshing < /p>
pip show bitsand к 4-битному квантованию будет разрешено, и функция загрузки модели будет работать должным образом, не поднимая импортеру. Однако, несмотря на обновление и подтверждение установки, я все еще сталкиваюсь с той же ошибкой:
Importerror: использование 4-битного квантования BitsAndbytes требует последней версии BitsAndbytes

Подробнее здесь: https://stackoverflow.com/questions/795 ... ires-the-l