Использование памяти продолжает увеличиваться при извлечении вложений с помощью преобразователей предложений. ⇐ Python

[Anonymous]

У меня есть набор из примерно 100 миллионов строк размером с абзац (многоязычных), для которых я извлекаю встраивания, но использование памяти продолжает увеличиваться, пока я не начну переполняться в подкачку диска:

Код: Выделить всё

model = SentenceTransformer("Qwen/Qwen3-Embedding-0.6B",
tokenizer_kwargs={"padding_side": "left"})

for samples_page in my_paginated_samples_loader:
embeddings = model.encode(samples_page)
my_paginated_writer.write(embeddings, disk_destination)

Я проверил свой образец загрузчика на предмет каких-либо утечек памяти, но, похоже, это не проблема, поэтому это должно быть что-то с преобразователями предложений.
Кажется ли проблема чем-то очевидным, например, то, как я ее запускаю, неправильно? Или мне следует попытаться устранить эту неполадку каким-то конкретным способом?

Подробнее здесь: https://stackoverflow.com/questions/798 ... transforme