from langchain_community.llms import HuggingFacePipeline
from transformers import AutoTokenizer
import transformers
import torch
model="meta-llama/Llama-2-7b-chat-hf"
tokenizer=AutoTokenizer.from_pretrained(model)
pipeline=transformers.pipeline(
"text-generation",
model=model,
tokenizer=tokenizer,
torch_dtype=torch.bfloat16,
trust_remote_code=True,
device_map="auto",
max_length=1000,
do_sample=True,
top_k=10,
num_return_sequences=1,
eos_token_id=tokenizer.eos_token_id
)
llm=HuggingFacePipeline(pipeline=pipeline, model_kwargs={'temperature':0})
from langchain.prompts import PromptTemplate
prompt_template=PromptTemplate(input_variables=["book_name"],
template="Provide me a concise summary of the book {book_name}")
< /code>
А потом я завершу его с < /p>
from langchain.chains import LLMChain
chain = LLMChain(llm=llm, prompt=prompt_template, verbose=True)
response= chain.run("Alchemist")
print(response)
< /code>
Я получаю ответ с резюме, который я хотел, но я получаю предупреждения о снижении.chain = prompt | llm
response = chain.invoke("The name of the rose")
print(response)
< /code>
Но я получаю ошибку < /p>
TypeError: Expected a Runnable, callable or dict.Instead got an unsupported type:
chain2 = prompt | llm | StrOutputParser()
response2 = chain2.invoke({"bookname":"The name of the rose"})
# response2 = chain2.invoke("The name of the rose")
print(response2)
Когда у меня есть этот код первым < /p> [code]from langchain_community.llms import HuggingFacePipeline from transformers import AutoTokenizer import transformers import torch
from langchain.prompts import PromptTemplate prompt_template=PromptTemplate(input_variables=["book_name"], template="Provide me a concise summary of the book {book_name}") < /code> А потом я завершу его с < /p> from langchain.chains import LLMChain
chain = LLMChain(llm=llm, prompt=prompt_template, verbose=True) response= chain.run("Alchemist") print(response) < /code> Я получаю ответ с резюме, который я хотел, но я получаю предупреждения о снижении.chain = prompt | llm response = chain.invoke("The name of the rose") print(response) < /code> Но я получаю ошибку < /p> TypeError: Expected a Runnable, callable or dict.Instead got an unsupported type: [/code] Что я делаю не так? Пробовал < /p> [code]chain2 = prompt | llm | StrOutputParser() response2 = chain2.invoke({"bookname":"The name of the rose"}) # response2 = chain2.invoke("The name of the rose") print(response2) [/code] Но ошибка устойчиво
Когда я впервые получу этот код
from langchain_community.llms import HuggingFacePipeline
from transformers import AutoTokenizer
import transformers
import torch
Когда у меня есть этот код первым
from langchain_community.llms import HuggingFacePipeline
from transformers import AutoTokenizer
import transformers
import torch
Когда у меня есть этот код первым
from langchain_community.llms import HuggingFacePipeline
from transformers import AutoTokenizer
import transformers
import torch
Когда у меня есть этот код первым
from langchain_community.llms import HuggingFacePipeline
from transformers import AutoTokenizer
import transformers
import torch
Я хотел бы, чтобы токен использовался моей цепочкой RAG каждый раз, когда она вызывается.
Что бы я ни делал, я не могу найти правильный способ вывода общее количество токенов модели Gemini, которую я использую.
import vertexai
from...