Сейчас я пытаюсь загрузить модель в MLX. Но когда я загружаю модель и использую токенизатор, возникает следующая проблема:
с неправильным шаблоном регулярного выражения: https://huggingface.co/mistralai/Mistra ... e709447d5e. Это приведет к неправильной токенизации. Чтобы устранить эту проблему, вам следует установить флаг fix_mistral_regex=True при загрузке этого токенизатора.
Но я не понимаю, как это сделать в моем коде:
from mlx_lm import load, generate
out = load("mlx-community/translategemma-12b-it-4bit")
if len(out) == 2:
model, tokenizer = out
else:
model, tokenizer, struct = out
prompt = "Write a story about Einstein"
messages = [{"role": "user", "content": prompt}]
prompt = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True
)
text = generate(model, tokenizer, prompt=prompt, verbose=True)
Подробнее здесь: https://stackoverflow.com/questions/798 ... ration-mlx
