Как запустить модель DeepSeek локально ⇐ Python

[Anonymous]

Я пытаюсь запустить DeepSeek локально согласно их инструкциям, но он не работает с какой-то глупой ошибкой (покажу позже).
Это то, что я делаю.

• Скачайте самую маленькую модель (3,5 ГБ) отсюда https://huggingface.co/deepseek-ai/Deep ... -Qwen-1.5B
• Следуйте шаги отсюда: https://github.com/deepseek-ai/DeepSeek ... un-locally

2.1 Загрузите этот проект
https://github.com/deepseek-ai/DeepSeek-V3.git
2.2 Запустите docker-контейнер следующим образом: заранее созданный том для размещения модели

Код: Выделить всё

docker run --gpus all -it --name deepseek01 --rm --mount source=deepseekv3,target=/root/deepseekv3 python:3.10-slim bash

Я использую python:3.10-slim, потому что здесь (https://github.com/deepseek-ai/DeepSeek ... un-locally) написано
"Только Linux с Python 3.10. Mac и Windows не поддерживаются."
2.3 Установите последнюю версию обновления
apt-get update
2.4 получите этот файл https://github.com/deepseek-ai/DeepSeek ... ements.txt и установите необходимые требования

Код: Выделить всё

pip install -r requirements.txt

2.5 Скопируйте модель в том, смонтированный в Docker-контейнере. эти 5 файлов отсюда https://huggingface.co/deepseek-ai/Deep ... -Qwen-1.5B

Код: Выделить всё

config.json
generation_config.json
model.safetensors
tokenizer.json
tokenizer_config.json

2.6 Конвертируйте модель как написано здесь https://github.com/deepseek-ai/DeepSeek ... conversion этой командой

Код: Выделить всё

python convert.py --hf-ckpt-path /root/deepseekv3/source_model --save-path /root/deepseekv3/converted_model --n-experts 256 --model-parallel 16

На этом этапе (преобразование модели) я получил эту ошибку

Код: Выделить всё

Traceback (most recent call last):
File "/root/deepseekv3/inference/convert.py", line 96, in 
main(args.hf_ckpt_path, args.save_path, args.n_experts, args.model_parallel)
File "/root/deepseekv3/inference/convert.py", line 63, in main
assert key in mapping
AssertionError

поэтому, по сути, следующие шаги не имеют смысла, так как это самый важный шаг.
Мои вопросы:

• Что я делаю неправильно?
• На YouTube есть несколько видеороликов, где deepseek был установлен вместе с ollama. Действительно ли это необходимо? Смогу ли я запустить его без него, как описано здесь https://github.com/deepseek-ai/DeepSeek ... un-locally?

ОБНОВЛЕНИЕ 1
Чтобы немного отладить, я добавил эти 2 строки.

Код: Выделить всё

print("Missing key:", key)
print("Available keys:", list(mapping.keys()))

Отсутствующие ключи были определены следующим образом:

Код: Выделить всё

embed_tokens
input_layernorm
down_proj
gate_proj
up_proj
post_attention_layernorm
k_proj

Хотя все они существуют внутри файла model.safetensors.
Кроме того, @Hans Kilian упомянул в комментарии, что я мог бы поместить некоторый файл, который не нужен, в папку source_model.
Я проверил строку 11 в файле Convert.py, и некоторые ключи там не существуют внутри model.safetensors, но журналирование сообщает о разных ключах.