tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
model = BertModel.from_pretrained("bert-base-uncased")
def generate_embeddings(text):
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)
embeddings = outputs.last_hidden_state.mean(dim=1).squeeze().detach().numpy()
return embeddings
embeddings = [generate_embeddings(article) for article in article_content]
pc = Pinecone(api_key="API_KEY")
pc.create_index(
name="index-name",
dimension=4096, # Replace with your model dimensions
metric="cosine", # Replace with your model metric
spec=ServerlessSpec(
cloud="aws",
region="us-east-1"
)
)
index = pc.Index("index-name")
index.upsert(embeddings)
Traceback (most recent call last):
File "c:\Users\tvish\llama api.py", line 158, in
index.upsert(embeddings)
File "C:\Users\tvish\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\pinecone\utils\error_handling.py", line 11, in inner_func
return func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\tvish\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\pinecone\data\index.py", line 175, in upsert
return self._upsert_batch(vectors, namespace, _check_type, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\tvish\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\pinecone\data\index.py", line 206, in _upsert_batch
vectors=list(map(vec_builder, vectors)),
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\tvish\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\pinecone\data\index.py", line 202, in
vec_builder = lambda v: VectorFactory.build(v, check_type=_check_type)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\tvish\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\pinecone\data\vector_factory.py", line 30, in build
raise ValueError(f"Invalid vector value passed: cannot interpret type {type(item)}")
ValueError: Invalid vector value passed: cannot interpret type
Я впервые работаю с векторами, и большую часть этого кода я только что нашел в Интернете. Кто-нибудь знает, что это значит и как это исправить?
Спасибо
Я пытаюсь добавить некоторые данные из списка в индекс шишки с помощью следующего кода: [code]tokenizer = BertTokenizer.from_pretrained("bert-base-uncased") model = BertModel.from_pretrained("bert-base-uncased")
embeddings = [generate_embeddings(article) for article in article_content]
pc = Pinecone(api_key="API_KEY") pc.create_index( name="index-name", dimension=4096, # Replace with your model dimensions metric="cosine", # Replace with your model metric spec=ServerlessSpec( cloud="aws", region="us-east-1" ) ) index = pc.Index("index-name")
index.upsert(embeddings)
[/code] но получаю следующую ошибку: [code] Traceback (most recent call last): File "c:\Users\tvish\llama api.py", line 158, in index.upsert(embeddings) File "C:\Users\tvish\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\pinecone\utils\error_handling.py", line 11, in inner_func return func(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\tvish\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\pinecone\data\index.py", line 175, in upsert return self._upsert_batch(vectors, namespace, _check_type, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\tvish\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\pinecone\data\index.py", line 206, in _upsert_batch vectors=list(map(vec_builder, vectors)), ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\tvish\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\pinecone\data\index.py", line 202, in vec_builder = lambda v: VectorFactory.build(v, check_type=_check_type) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\tvish\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\pinecone\data\vector_factory.py", line 30, in build raise ValueError(f"Invalid vector value passed: cannot interpret type {type(item)}") ValueError: Invalid vector value passed: cannot interpret type
[/code] Я впервые работаю с векторами, и большую часть этого кода я только что нашел в Интернете. Кто-нибудь знает, что это значит и как это исправить? Спасибо
pinecone.init(api_key=PINECONE_API_KEY, environment=PINECONE_API_ENV) index_name= medicalchatbot #Creating Embeddings for Each of The Text Chunks & storing docsearch= Pinecone.from_texts( , embeddings, index_name=index_name) AttributeError: init is...
В следующей программе у меня есть три функции get_dataset1, get_dataset2 и get_dataset3, которые очень похожи. Они отличаются только тем, когда вызывают len(dataset) и os.path.join = tmp.
Функции get_dataset1 и get_dataset3 вести себя так, как...
Мне нужно перенести данные из старой учетной записи в новую. (Оба аккаунта бесплатны)
И в индексе 12 000 векторов.
Есть ли какой-нибудь API или пользовательский интерфейс для шишки для экспорта «всех» данные?
#1
Я пытался получить все данные,...