Я новичок в LLM и сейчас учусь запускать Llama 3.2 (версии 1B и 3B) на своем рабочем столе. Я хочу сначала запустить его и понять, как он работает. Затем настройте его с помощью моего собственного набора данных. Однако в начале я запутался. Я не знаю, как запустить его локально на уровне кода, так как существует мало полезных руководств (возможно, я просто не смог их найти). Поэтому я пришел сюда за помощью.
Мой текущий прогресс таков:
Я уже скачал Официальный код Llama 3 с Github.
И получил вес модели (наверное, да?) от Hugging Face.
Я установил Система Ubuntu 20.04 и CUDA 11.8 и cuDNN 8.9.6 на моем рабочем столе (оснащенном NVIDIA GeForce RTX 3090).
Следуя инструкциям по Hugging Face, я попытался использовать vllm и запустить vllm submit "meta-llama/Llama-3.2-1B" и закрутить http://localhost:8080 /v1/models в терминале. Первая попытка оказалась успешной, и я получил результат типа
. Но последующие попытки не увенчались успехом, и это показало: Curl: (7) Не удалось подключиться к порту 8080 локального хоста через 0 мс: Не удалось подключиться к серверу. Интересно, что здесь не так и как это исправить?
После того, как это будет сделано, мне интересно, смогу ли я запустить Llama в PyCharm или Jupyter таким образом, чтобы загрузить веса модели для модель с влм или что-то в этом роде. Затем я мог бы использовать LoRA или другие методы тонкой настройки для обучения своей собственной модели. К сожалению, я до сих пор не знаю, как этого добиться.
Поэтому у меня сейчас два вопроса:
Можно ли запустить Llama на уровне кода в PyCharm или Jupyter в Ubuntu? Если да, то как?
Как точно настроить Llama с помощью нашего собственного набора данных?
Я думаю, есть вероятно, много таких новичков, как я, которые сталкиваются с подобными проблемами и замешательством и с самого начала разочаровываются. Искренне надеемся на вашу помощь. Любая ваша помощь будет оценена по достоинству.
Я новичок в LLM и сейчас учусь запускать Llama 3.2 (версии 1B и 3B) на своем рабочем столе. Я хочу сначала запустить его и понять, как он работает. Затем настройте его с помощью моего собственного набора данных. Однако в начале я запутался. Я не знаю, как запустить его локально [b]на уровне кода[/b], так как существует мало полезных руководств (возможно, я просто не смог их найти). Поэтому я пришел сюда за помощью. Мой текущий прогресс таков: [list] [*]Я уже скачал Официальный код Llama 3 с Github. [*]И получил вес модели (наверное, да?) от Hugging Face. [*]Я установил [b]Система Ubuntu 20.04[/b] и [b]CUDA 11.8[/b] и [b]cuDNN 8.9.6[/b] на моем рабочем столе (оснащенном NVIDIA GeForce RTX 3090). [*]Следуя инструкциям по Hugging Face, я попытался использовать [b]vllm[/b] и запустить vllm submit "meta-llama/Llama-3.2-1B" и закрутить http://localhost:8080 /v1/models в терминале. Первая попытка оказалась успешной, и я получил результат типа [img]https://i.sstatic.net/ALqjWg8J.png[/img] . Но последующие попытки не увенчались успехом, и это показало: Curl: (7) Не удалось подключиться к порту 8080 локального хоста через 0 мс: Не удалось подключиться к серверу. Интересно, что здесь не так и как это исправить? [*]После того, как это будет сделано, мне интересно, смогу ли я запустить Llama в PyCharm или Jupyter таким образом, чтобы загрузить веса модели для модель с влм или что-то в этом роде. Затем я мог бы использовать LoRA или другие методы тонкой настройки для обучения своей собственной модели. К сожалению, я до сих пор не знаю, как этого добиться. [/list] Поэтому у меня сейчас [b]два вопроса[/b]:[list] [*]Можно ли запустить Llama на уровне кода в PyCharm или Jupyter в Ubuntu? Если да, то как? [*]Как точно настроить Llama с помощью нашего собственного набора данных? [/list] Я думаю, есть вероятно, много таких новичков, как я, которые сталкиваются с подобными проблемами и замешательством и с самого начала разочаровываются. Искренне надеемся на вашу помощь. Любая ваша помощь будет оценена по достоинству.
Мобильная версия
