LangChain + локальная модель, совместимая с LLAMA ⇐ Python
-
Anonymous
LangChain + локальная модель, совместимая с LLAMA
Я пытаюсь настроить демо-версию локального чат-бота для тестирования. Я хотел использовать LangChain в качестве основы и LLAMA в качестве модели. Все руководства, которые я нашел, включают некоторую регистрацию, ключ API, HuggingFace и т. д., что кажется ненужным для моих целей.
Есть ли способ использовать локальный файл модели, совместимый с LLAMA, только для целей тестирования? А также хотелось бы получить пример кода для использования модели с LangChain. Спасибо!
ОБНОВЛЕНИЕ. Я написал сообщение в блоге на основе принятого ответа.
Я пытаюсь настроить демо-версию локального чат-бота для тестирования. Я хотел использовать LangChain в качестве основы и LLAMA в качестве модели. Все руководства, которые я нашел, включают некоторую регистрацию, ключ API, HuggingFace и т. д., что кажется ненужным для моих целей.
Есть ли способ использовать локальный файл модели, совместимый с LLAMA, только для целей тестирования? А также хотелось бы получить пример кода для использования модели с LangChain. Спасибо!
ОБНОВЛЕНИЕ. Я написал сообщение в блоге на основе принятого ответа.
