LangChain + локальная модель, совместимая с LLAMA ⇐ Python

[Anonymous]

Я пытаюсь настроить демо-версию локального чат-бота для тестирования. Я хотел использовать LangChain в качестве основы и LLAMA в качестве модели. Все руководства, которые я нашел, включают некоторую регистрацию, ключ API, HuggingFace и т. д., что кажется ненужным для моих целей.

Есть ли способ использовать локальный файл модели, совместимый с LLAMA, только для целей тестирования? А также хотелось бы получить пример кода для использования модели с LangChain. Спасибо!

ОБНОВЛЕНИЕ. Я написал сообщение в блоге на основе принятого ответа.