Как использовать внедрения HuggingFace с Когнитивным поиском Azure ⇐ Python

[Anonymous]

Я использую langchain с Azure OpenAI и Azure Cognitive Search.
В настоящее время я использую модель Azure OpenAI text-embedding-ada-002 для создания внедрений, но я хотел бы использовать модель внедрения от HugginFace если возможно, потому что Azure OpenAI API не позволяет отправлять документы пакетно, поэтому мне нужно сделать несколько вызовов и достичь ограничения скорости.
Я попробовал использовать это встраивание в свой код:< /p>

Код: Выделить всё

embeddings = SentenceTransformerEmbeddings(
model_name="all-mpnet-base-v2",
)

Вместо:

Код: Выделить всё

embeddings = OpenAIEmbeddings(
...
)

Проблема, с которой я столкнулся, заключается в том, что когда я использую метод aadd_texts AzureSearch, я получаю эту ошибку:

Код: Выделить всё

The vector field 'content_vector' dimensionality must match the field definition's 'dimensions' property. Expected: '1536'. Actual: '768'. (IndexDocumentsFieldError) 98: The vector field 'content_vector' dimensionality must match the field definition's 'dimensions' property. Expected: '1536'. Actual: '768'.
Code: IndexDocumentsFieldError

Я совсем запутался. Кто-нибудь использовал модель внедрения с открытым исходным кодом с помощью Cognitive Search? Как?

Подробнее здесь: https://stackoverflow.com/questions/774 ... ive-search