Я работаю над виртуальной машиной Google Cloud с CUDA 12. Я пытался установить faiss-gpu-cu12 или faiss-gpu-cu12[fix_cuda], используя виртуальный venv или pyenv. среда под Python 3.12.4. Для приложения нам также нужны пакеты langchain, как показано ниже:
python --version
Python 3.12.4
python -m pip install langchain langchain-huggingface langchain-community faiss-gpu-cu12[fix_cuda]
pip не выдает ошибок, и все выглядит нормально, но когда я запускаю минимальный пример ниже:
from langchain_community.vectorstores import FAISS
from langchain_huggingface import HuggingFaceEmbeddings
from sentence_transformers import SentenceTransformer
docs = [ 'sefsl;fk lskdf;lk s', 'ewrl kwelklekfl ls ;' ]
embedder = HuggingFaceEmbeddings(model_name='sentence-transformers/all-MiniLM-L6-v2')
f = FAISS.from_texts(docs, embedding=embedder)
embeddings = embedder.encode(docs)
Я получаю следующую ошибку:
Traceback (most recent call last):
File "/home/jupyterlab_user/erwan/RAG/.venv/lib/python3.12/site-packages/langchain_community/vectorstores/faiss.py", line 55, in dependable_faiss_import
import faiss
File "/home/jupyterlab_user/erwan/RAG/.venv/lib/python3.12/site-packages/faiss/__init__.py", line 16, in
from .loader import *
File "/home/jupyterlab_user/erwan/RAG/.venv/lib/python3.12/site-packages/faiss/loader.py", line 111, in
from .swigfaiss import *
File "/home/jupyterlab_user/erwan/RAG/.venv/lib/python3.12/site-packages/faiss/swigfaiss.py", line 10, in
from . import _swigfaiss
ImportError: /home/jupyterlab_user/erwan/RAG/.venv/lib/python3.12/site-packages/faiss/_swigfaiss.cpython-312-x86_64-linux-gnu.so: ELF load command address/offset not properly aligned
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/home/jupyterlab_user/erwan/RAG/minimal-faiss-expl2.py", line 9, in
f = FAISS.from_texts(docs, embedding=embedder)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/jupyterlab_user/erwan/RAG/.venv/lib/python3.12/site-packages/langchain_community/vectorstores/faiss.py", line 1042, in from_texts
return cls.__from(
^^^^^^^^^^^
File "/home/jupyterlab_user/erwan/RAG/.venv/lib/python3.12/site-packages/langchain_community/vectorstores/faiss.py", line 994, in __from
faiss = dependable_faiss_import()
^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/jupyterlab_user/erwan/RAG/.venv/lib/python3.12/site-packages/langchain_community/vectorstores/faiss.py", line 57, in dependable_faiss_import
raise ImportError(
ImportError: Could not import faiss python package. Please install it with `pip install faiss-gpu` (for CUDA supported GPU) or `pip install faiss-cpu` (depending on Python version).
Похоже, что библиотека Faiss установлена неправильно, хотя pip не выдал ошибки при установке пакета faiss-gpu-cu12. Есть ли что-нибудь, что я пропустил? Например, известна ли какая-либо несовместимость между вышеуказанными пакетами?
На данный момент я ограничен использованием faiss-cpu, поэтому любые предложения приветствуются!
Дополнительная информация:
$ pip freeze | grep faiss
faiss-gpu-cu12==1.8.0.2
$ pip freeze | grep langchain
langchain==0.3.3
langchain-community==0.3.2
langchain-core==0.3.12
langchain-huggingface==0.1.0
langchain-text-splitters==0.3.0
$ nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Wed_Jul_22_19:09:09_PDT_2020
Cuda compilation tools, release 11.0, V11.0.221
Build cuda_11.0_bu.TC445_37.28845127_0
Подробнее здесь: https://stackoverflow.com/questions/790 ... stallation
Ошибка Python с ошибкой на графическом процессоре с cuda, несмотря на успешную установку ⇐ Python
-
- Похожие темы
- Ответы
- Просмотры
- Последнее сообщение
-
-
Ошибка Python с ошибкой на графическом процессоре с cuda, несмотря на успешную установку
Anonymous » » в форуме Python - 0 Ответы
- 26 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Ошибка Python с ошибкой на графическом процессоре с cuda, несмотря на успешную установку
Anonymous » » в форуме Python - 0 Ответы
- 21 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Ошибка Python с ошибкой на графическом процессоре с cuda, несмотря на успешную установку
Anonymous » » в форуме Python - 0 Ответы
- 20 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Ошибка Python с ошибкой на графическом процессоре с cuda, несмотря на успешную установку
Anonymous » » в форуме Python - 0 Ответы
- 23 Просмотры
-
Последнее сообщение Anonymous
-