Meta llama 3.2 3b модель локальная загрузка ⇐ Python

[Anonymous]

Я установлен модель Llamma3.2 от Meta напрямую и получил ее в этом формате < /p>

Код: Выделить всё

-a----         3/10/2025   3:22 PM            209 checklist.chk
-a----         3/10/2025   9:47 AM     6425585114 consolidated.00.pth
-a----         3/10/2025   9:27 AM            220 params.json
-a----         3/10/2025   9:27 AM        2183982 tokenizer.model
< /code>
И я пытаюсь запустить его, но это дает мне эту ошибку < /p>
Traceback (most recent call last):
File "C:\Users\user\.llama\checkpoints\Llama3.2-3B-Instruct\LLAMA.PY", line 14, in 
model = LlamaForCausalLM.from_pretrained(
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.12_qbz5n2kfra8p0\LocalCache\local-packages\Python312\site-packages\transformers\modeling_utils.py", line 262, in _wrapper
return func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.12_qbz5n2kfra8p0\LocalCache\local-packages\Python312\site-packages\transformers\modeling_utils.py", line 3808, in from_pretrained
raise EnvironmentError(
OSError: Error no file named pytorch_model.bin, model.safetensors, tf_model.h5, model.ckpt.index or flax_model.msgpack found in director
< /code>
Запуск этого кода < /p>
# Install required packages if you haven't already
# pip install torch transformers

import torch
from transformers import LlamaForCausalLM, LlamaTokenizer

# Path to your model files
model_path = "C:/Users/user/.llama/checkpoints/Llama3.2-3B-Instruct"  # The folder containing the files you listed

# Load the tokenizer
tokenizer = LlamaTokenizer.from_pretrained(model_path)

# Load the model
model = LlamaForCausalLM.from_pretrained(
model_path,
torch_dtype=torch.float16,  # Use float16 for efficiency
low_cpu_mem_usage=True,     # Helps with memory usage
device_map="auto"           # Automatically use GPU if available
)

# Generate text
def generate_text(prompt, max_length=100):
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# Generate
with torch.no_grad():
output = model.generate(
inputs["input_ids"],
max_length=max_length,
temperature=0.7,
top_p=0.9,
do_sample=True
)

# Decode and return the generated text
return tokenizer.decode(output[0], skip_special_tokens=True)

# Test the model
response = generate_text("What is artificial intelligence?")
print(response)

Из того, что я видел, формат модели имеет базовый базовый, но я не уверен, как ее запустить

Подробнее здесь: https://stackoverflow.com/questions/795 ... l-download