Почему загрузка файлов в корпуса GCP Vertex AI RAG происходит так медленно? ⇐ Python

[Anonymous]

Я экспериментирую с RAG на GCP/Vertex AI и попытался создать простой пример.
Вот что у меня получилось, создав небольшие фиктивные файлы локально, а затем загружая их один за другим в недавно созданный корпус RAG:

Код: Выделить всё

import vertexai
from vertexai import rag
from tqdm import tqdm
from pathlib import Path
import lorem

PROJECT_ID = "my-project-id"  # change this as appropriate
LOCATION = "us-central1"
CORPUS_DISPLAY_NAME = f"dummy_corpus"
TEMP_FILES_DIR = Path("temp_rag_files")

def create_files(num_files=5):
"""Creates a specified number of dummy text files with lorem ipsum content."""
TEMP_FILES_DIR.mkdir(exist_ok=True)
created_file_paths = []
for i in range(num_files):
file_path = TEMP_FILES_DIR / f"dummy_file_{i+1}.txt"
content = f"Dummy file {i+1} for RAG example.\n{lorem.paragraph()}"
file_path.write_text(content, encoding='utf-8')
created_file_paths.append(file_path)
print(f"Created dummy file: {file_path}")
return created_file_paths

def main():

vertexai.init(project=PROJECT_ID, location=LOCATION)

print("Creating dummy files...")
dummy_file_paths = create_files(num_files=5)

print(f"Creating RAG Corpus '{CORPUS_DISPLAY_NAME}'...")
corpus = rag.create_corpus(
display_name=CORPUS_DISPLAY_NAME,
description="Corpus with lorem ipsum files.",
)
corpus_name = corpus.name
print(f"Successfully created RAG Corpus: {corpus_name}")

print(f"Uploading {len(dummy_file_paths)} files to '{corpus_name}'...")
uploaded_rag_files_info = []

for file_path in tqdm(dummy_file_paths):
display_name = file_path.stem
rag_file = rag.upload_file(
corpus_name=corpus_name,
path=str(file_path),
display_name=display_name,
description=f"Dummy lorem ipsum file: {display_name}",
)
uploaded_rag_files_info.append({"name": rag_file.name, "display_name": rag_file.display_name})
print(f"Successfully uploaded: {rag_file.name}")

if __name__ == "__main__":
main()

Однако при запуске кода каждая итерация загрузки файла происходит довольно медленно (10 секунд на файл), что делает невозможным загрузку набора данных разумного размера.
Я делаю что-то не так?
В случае, если это может быть связано с задержкой, я также попробовал Europe-west3 в качестве местоположения (ближе ко мне), но эта замена не удалась с

RuntimeError: («Не удалось проиндексировать RagFile из-за: ', {'code': 400, 'message': 'Местоположение ресурса europe-west3 не соответствует местоположению службы us-central1.', 'status': 'FAILED_PRECONDITION'})

Я могу прибегнуть к другим способам загрузки файлов в корпус, но я подумал это может быть разумный подход.

Подробнее здесь: https://stackoverflow.com/questions/796 ... ra-so-slow