Поддерживает ли unsloth каталог кэша для моделей?Python

Программы на Python
Anonymous
Поддерживает ли unsloth каталог кэша для моделей?

Сообщение Anonymous »

Я хочу загрузить модель обнимающего лица, чтобы использовать ее с неленивостью для тренировок:

Код: Выделить всё

from unsloth import FastLanguageModel,

max_seq_length = 16384
model, tokenizer = FastLanguageModel.from_pretrained(
model_name="unsloth/Llama-3.2-1B-Instruct",
max_seq_length=max_seq_length,
load_in_4bit=False,
)
Однако этот метод, похоже, не допускает какого-либо локального кэширования, он каждый раз загружает всю модель с обнимающего лица.
Мой вопрос:
Как я могу загрузить модель unsloth с локального жесткого диска?>

Вернуться в «Python»