pip install pypdf
pip install -q transformers einops accelerate langchain bitsandbytes
pip install install sentence_transformers
pip3 install llama-index --upgrade
pip install llama-index-llms-huggingface
huggingface-cli login
pip install -U llama-index-core llama-index-llms-openai llama-index-embeddings-openai
< /code>
Затем я запустил этот код в Google Colab: < /p>
from llama_index.core import VectorStoreIndex,SimpleDirectoryReader,ServiceContext
from llama_index.llms.huggingface import HuggingFaceLLM
from llama_index.core.prompts.prompts import SimpleInputPrompt
# Reading pdf
documents=SimpleDirectoryReader("/content/sample_data/Data").load_data()
#Prompt
query_wrapper_prompt=SimpleInputPrompt("{query_str}")
import torch
llm = HuggingFaceLLM(
context_window=4096,
max_new_tokens=256,
generate_kwargs={"temperature": 0.0, "do_sample": False},
system_prompt=system_prompt,
query_wrapper_prompt=query_wrapper_prompt,
tokenizer_name="meta-llama/Llama-2-7b-chat-hf",
model_name="meta-llama/Llama-2-7b-chat-hf",
device_map="auto",
# uncomment this if using CUDA to reduce memory usage
model_kwargs={"torch_dtype": torch.float16 , "load_in_8bit":True}
)
# Embeddings
from langchain.embeddings.huggingface import HuggingFaceEmbeddings
from llama_index.core import ServiceContext
from llama_index.embeddings.langchain import LangchainEmbedding
embed_model=LangchainEmbedding(
HuggingFaceEmbeddings(model_name="sentence-transformers/all-mpnet-base-v2"))
< /code>
Тогда я получил эту ошибку:
ModuleNotFoundError: No module named 'llama_index.embeddings.langchain'
Я использую последнюю версию llama-index
версия: 0.10.26
может кто-нибудь предложить, как разрешить эту ошибку.
Я пытаюсь использовать Enterdings Langchain, используя следующий код в Google Colab: < /p> Это установки: < /p> [code]pip install pypdf pip install -q transformers einops accelerate langchain bitsandbytes pip install install sentence_transformers pip3 install llama-index --upgrade pip install llama-index-llms-huggingface huggingface-cli login pip install -U llama-index-core llama-index-llms-openai llama-index-embeddings-openai
< /code> Затем я запустил этот код в Google Colab: < /p> from llama_index.core import VectorStoreIndex,SimpleDirectoryReader,ServiceContext from llama_index.llms.huggingface import HuggingFaceLLM from llama_index.core.prompts.prompts import SimpleInputPrompt
# Reading pdf documents=SimpleDirectoryReader("/content/sample_data/Data").load_data()
import torch llm = HuggingFaceLLM( context_window=4096, max_new_tokens=256, generate_kwargs={"temperature": 0.0, "do_sample": False}, system_prompt=system_prompt, query_wrapper_prompt=query_wrapper_prompt, tokenizer_name="meta-llama/Llama-2-7b-chat-hf", model_name="meta-llama/Llama-2-7b-chat-hf", device_map="auto", # uncomment this if using CUDA to reduce memory usage model_kwargs={"torch_dtype": torch.float16 , "load_in_8bit":True} )
# Embeddings from langchain.embeddings.huggingface import HuggingFaceEmbeddings from llama_index.core import ServiceContext from llama_index.embeddings.langchain import LangchainEmbedding
< /code> Тогда я получил эту ошибку: ModuleNotFoundError: No module named 'llama_index.embeddings.langchain'[/code] Я использую последнюю версию llama-index версия: 0.10.26 может кто-нибудь предложить, как разрешить эту ошибку.
Я использую Python 3.7.16 в виртуальной среде (venv). При запуске приведенного ниже кода я получаю сообщение об ошибке, связанное с модулем langchain.embeddings. Я не могу обновить langchain выше 0.0.27, поскольку он несовместим с версиями Python 1...
Я пытаюсь реализовать код, описанный в статье кулинарной книги HuggingFace по адресу
Я дошел до того, что Я пытаюсь установить рассматриваемый пакет:
llama-index-embeddings-huggingface
Я получаю следующую ошибку:
ERROR: Cannot install...
Я не могу установить HuggingfaceEmbedding \
Получаю следующую ошибку:
ERROR: Cannot install llama-index-embeddings-huggingface==0.1.3, llama-index-embeddings-huggingface==0.1.4 and llama-index-embeddings-huggingface==0.1.5 because these package...
Я пытаюсь реализовать код, описанный в статье кулинарной книги HuggingFace по адресу
Я дошел до того, что Я пытаюсь установить рассматриваемый пакет:
llama-index-embeddings-huggingface
Я получаю следующую ошибку:
ERROR: Cannot install...
Я не могу установить HuggingfaceEmbedding \
Получаю следующую ошибку:
ERROR: Cannot install llama-index-embeddings-huggingface==0.1.3, llama-index-embeddings-huggingface==0.1.4 and llama-index-embeddings-huggingface==0.1.5 because these package...