Haystack: сохраните InMemoryDocumentStore и загрузите его в ретривер позже, чтобы сэкономить время генерации встраивания ⇐ Python

[Anonymous]

Я использую хранилище документов InMemory и средство извлечения внедрений для конвейера вопросов и ответов.
from haystack.document_stores import InMemoryDocumentStore
document_store = InMemoryDocumentStore(embedding_dim =768,use_bm25=True)
document_store.write_documents(docs_processed)

from haystack.nodes import EmbeddingRetriever
retriever_model_path ='downloaded_models\local\my_local_multi-qa-mpnet-base-dot-v1'
retriever = EmbeddingRetriever(document_store=document_store,
embedding_model=retriever_model_path,
use_gpu=True)

document_store.update_embeddings(retriever=retriever)

Поскольку внедрение занимает некоторое время, я хочу загрузить внедрения, а затем снова использовать их в средстве извлечения. (на стороне API остального). Я не хочу использовать ElasticSearch или Faiss. Как я могу добиться этого, используя In Memory Store? Я пытался использовать Pickle, но нет возможности хранить вложения. Опять же, во встроенном ретривере нет функции загрузки.
Я пробовал сделать следующее:
with open("document_store_res.pkl", "wb") as f:
pickle.dump(document_store.get_all_documents(), f)

А в остальном API я пытаюсь загрузить хранилище документов:
def reader_retriever():
# Load the pickled model
with open(os.path.join(settings.BASE_DIR,'\downloaded_models\document_store_res.pkl'), 'rb') as f:
document_store_new = pickle.load(f)

retriever_model_path = os.path.join(settings.BASE_DIR, '\downloaded_models\my_local_multi-qa-mpnet-base-dot-v1')

retriever = EmbeddingRetriever(document_store=document_store_new,
embedding_model=retriever_model_path,
use_gpu=True)

document_store_new.update_embeddings(retriever=retriever,
batch_size=100)
farm_reader_path = os.path.join(settings.BASE_DIR, '\downloaded_models\my_local_bert-large-uncased-whole-word-masking-squad2')

reader = FARMReader(model_name_or_path=farm_reader_path,
use_gpu=True)

return reader, retriever


Подробнее здесь: https://stackoverflow.com/questions/760 ... -save-embe