Мобильная версияОтсутствует файл main.exe при установке модели llama2. ⇐ C++
-
Anonymous
Отсутствует файл main.exe при установке модели llama2.
Я пытаюсь установить языковую модель под названием llama2 отсюда.
Выполнил это руководство с некоторыми необходимыми изменениями (см. воспроизводимость ниже), но на шаге 7 он хочет использовать файл Main.exe, которого там нет. Я просмотрел несколько репозиториев Llama2, но никто не предоставил Main.exe.
Как найти отсутствующий здесь файл Main.exe для запуска модели llama2?
Воспроизводимость Я сделал следующее:
[*]в Git Bash: git clone https://github.com/sychhq/llama-cpp-setup.git && cd llama-cpp-setup && chmod +x setup.sh && ./setup.sh< /код> У него проблемы с лицензиями SSL, поэтому я добавляю git config --global http.sslbackend schannel и повторяю строку выше. Теперь все работает и просит настройки. Я использую значение по умолчанию для обоих вопросов, поэтому дважды нажмите Enter. [*]Загрузка занимает 6 минут и заканчивается в C:/Users/…/llama-cpp-setup. [*]Теперь я клонирую репозиторий ламы с помощью git clone https://github.com/facebookresearch/llama.git [*]Теперь я устанавливаю wget и помещаю его в C:/Windows/System32 [*]Затем я запускаю /bin/bash ./download.sh, куда помещаю URL-адрес, запрошенный мной с https://ai.meta.com/resources/models-an ... ries/llama -загрузки/ [*]Я обновился до Python 11 и запустил python -m venv llama2 из cd llama.cpp [*]Затем для активации модели (исходный код) llama2\Scripts\activate и python3 -m pip install -r require.txt [*]Затем python3 Convert.py --outfile models/7B/ggml-model-f16.bin --outtype f16 ../../llama-cpp-setup/llama/llama-2-7b -- vocab-dir ../../llama-cpp-setup//llama/llama (пусть указывают пути!) [*]quantize ./models/7B/ggml-model-f16.bin ./models/7B/ggml-model-q4_0.bin q4_0 компилирует модель. Это происходит из программы quantize.exe, которая отображается в проводнике. [*]Наконец я запускаю ./main -m ./models/7B/ggml-model-q4_0.bin -n 1024 --repeat_penalty 1.0 --color -i -r "User:" -f ./prompts /chat-with-bob.txt, но не может найти файл main.exe. Что, очевидно, верно, поскольку в каталоге нет файла Main.exe (проверял в Проводнике).
Я пытаюсь установить языковую модель под названием llama2 отсюда.
Выполнил это руководство с некоторыми необходимыми изменениями (см. воспроизводимость ниже), но на шаге 7 он хочет использовать файл Main.exe, которого там нет. Я просмотрел несколько репозиториев Llama2, но никто не предоставил Main.exe.
Как найти отсутствующий здесь файл Main.exe для запуска модели llama2?
Воспроизводимость Я сделал следующее:
[*]в Git Bash: git clone https://github.com/sychhq/llama-cpp-setup.git && cd llama-cpp-setup && chmod +x setup.sh && ./setup.sh< /код> У него проблемы с лицензиями SSL, поэтому я добавляю git config --global http.sslbackend schannel и повторяю строку выше. Теперь все работает и просит настройки. Я использую значение по умолчанию для обоих вопросов, поэтому дважды нажмите Enter. [*]Загрузка занимает 6 минут и заканчивается в C:/Users/…/llama-cpp-setup. [*]Теперь я клонирую репозиторий ламы с помощью git clone https://github.com/facebookresearch/llama.git [*]Теперь я устанавливаю wget и помещаю его в C:/Windows/System32 [*]Затем я запускаю /bin/bash ./download.sh, куда помещаю URL-адрес, запрошенный мной с https://ai.meta.com/resources/models-an ... ries/llama -загрузки/ [*]Я обновился до Python 11 и запустил python -m venv llama2 из cd llama.cpp [*]Затем для активации модели (исходный код) llama2\Scripts\activate и python3 -m pip install -r require.txt [*]Затем python3 Convert.py --outfile models/7B/ggml-model-f16.bin --outtype f16 ../../llama-cpp-setup/llama/llama-2-7b -- vocab-dir ../../llama-cpp-setup//llama/llama (пусть указывают пути!) [*]quantize ./models/7B/ggml-model-f16.bin ./models/7B/ggml-model-q4_0.bin q4_0 компилирует модель. Это происходит из программы quantize.exe, которая отображается в проводнике. [*]Наконец я запускаю ./main -m ./models/7B/ggml-model-q4_0.bin -n 1024 --repeat_penalty 1.0 --color -i -r "User:" -f ./prompts /chat-with-bob.txt, но не может найти файл main.exe. Что, очевидно, верно, поскольку в каталоге нет файла Main.exe (проверял в Проводнике).
