Мобильная версияиз langchain.llms импортировать LlamaCpp из импорта langchain PromptTemplate, LLMChain из langchain.callbacks.manager импортировать CallbackManager из langchain.callbacks.streaming_stdout импортировать StreamingStdOutCallbackHandler шаблон = """Вопрос: {вопрос} Ответ: Давайте разберемся с этим шаг за шагом, чтобы быть уверенными, что у нас есть правильный ответ. """ подсказка = PromptTemplate(шаблон=шаблон, input_variables=["вопрос"]) callback_manager = CallbackManager([StreamingStdOutCallbackHandler()]) llm = ЛамаКпп( model_path="./Models/llama-7b.ggmlv3.q2_K.bin", input={"температура": 0,75, "max_length": 2000, "top_p": 1}, callback_manager=callback_manager, подробный = Правда, ) llm_chain = LLMChain(подсказка=подсказка, llm=llm)
(llm) C:\llm>python app1.py C:\llm\lib\site-packages\langchain\utils\utils.py:155: Предупреждение пользователя: ВНИМАНИЕ! ввод не является параметром по умолчанию. ввод был передан в model_kwargs. Пожалуйста, подтвердите, что введенные данные соответствуют вашим намерениям. предупреждения.предупреждать( Исключение игнорируется в: Traceback (последний вызов последний): Файл «C:\llm\lib\site-packages\llama_cpp\llama.py», строка 1507, в __del__ если self.model не имеет значения None: AttributeError: объект «Лама» не имеет атрибута «модель». Traceback (последний вызов последний): Файл «C:\llm\app1.py», строка 14, в llm = ЛамаКпп( Файл «C:\llm\lib\site-packages\langchain\load\serializable.py», строка 74, в __init__ супер().__init__(**kwargs) Файл «pydantic\main.py», строка 341, в pydantic.main.BaseModel.__init__ pydantic.error_wrappers.ValidationError: 1 ошибка проверки для LlamaCpp __корень__ Не удалось загрузить модель ламы по пути: ./Models/llama-7b.ggmlv3.q2_K.bin. Получена ошибка. Llama.__init__() получила неожиданный аргумент ключевого слова «input» (type=value_error).
