Использование памяти продолжает увеличиваться при извлечении вложений с помощью преобразователей предложений. ⇐ Python

[Anonymous]

У меня есть набор из примерно 100 миллионов строк размером с абзац (многоязычных), для которых я извлекаю встраивания, но использование памяти продолжает увеличиваться, пока я не начну переполняться в подкачку диска:

Код: Выделить всё

model = SentenceTransformer("Qwen/Qwen3-Embedding-0.6B",
tokenizer_kwargs={"padding_side": "left"})

embeddings = []

for samples_page in my_paginated_samples_loader:
embeddings.extend(model.encode(samples_page))

Я проверил свой образец загрузчика на предмет каких-либо утечек памяти, но, похоже, это не проблема, поэтому это должно быть что-то с преобразователями предложений.
Кажется ли проблема чем-то очевидным, например, то, как я ее запускаю, неправильно? Или мне следует попытаться устранить эту неполадку каким-то конкретным способом?

Подробнее здесь: https://stackoverflow.com/questions/798 ... transforme