В следующей программе у меня есть три функции get_dataset1, get_dataset2 и get_dataset3, которые очень похожи. Они отличаются только тем, когда вызывают len(dataset) и os.path.join = tmp.
Функции get_dataset1 и get_dataset3 вести себя так, как задумано; они загружают набор данных, и его длина больше 0. Однако в случае get_dataset2 длина набора данных равна 0. Почему?
import copy
import os
import time
from pinecone_datasets import load_dataset
datasetName = "langchain-python-docs-text-embedding-ada-002"
def get_dataset1():
os.path.join = lambda *s: "/".join(s) # pinecone bug workaround
dataset = load_dataset(datasetName)
print("Dataset loaded:", len(dataset) != 0) # dataset has length greater than 0
def get_dataset2():
os.path.join = lambda *s: "/".join(s) # pinecone bug workaround
dataset = load_dataset(datasetName)
os.path.join = tmp
print("Dataset loaded:", len(dataset) != 0) # dataset has length 0
def get_dataset3():
os.path.join = lambda *s: "/".join(s) # pinecone bug workaround
dataset = load_dataset(datasetName)
print("Dataset loaded:", len(dataset) != 0) # dataset has length greater than 0
os.path.join = tmp
print("Dataset loaded:", len(dataset) != 0) # dataset has length greater than 0
def main():
get_dataset1()
get_dataset2()
get_dataset3()
if __name__ == "__main__":
tmp = copy.deepcopy(os.path.join)
main()
Подробнее здесь: https://stackoverflow.com/questions/787 ... ad-dataset
