Есть ли какие-либо недостатки в многократной установке umap? ⇐ Python

[Anonymous]

Пытаясь уменьшить количество результатов встраивания различных моделей обнимающихся лиц, я наткнулся на TSNE, который должен был помочь в уменьшении размеров. Однако при дальнейшем чтении TSNE выясняется, что выходные данные подходят только для ввода данных, и любые дополнительные входные данные не могут быть сопоставимы.
Я нашел umap в качестве замены, поскольку он выполнял те же функции, что и TSNE, но его можно было обучить и использовать для будущих точек данных.
мой вопрос касается протокола обучения. Существует ли оптимальный метод обучения таких преобразователей, как umap? Система, над которой я работаю, имеет ограниченные ресурсы, поэтому обучение в одной большой группе не является оптимальным.
Моя текущая настройка следующая
import umap
from transformers import AutoModel, AutoTokenizer

text_list = ["words", . . .] # this is 10000+ words

def generate_tensor(text_list):
. . .
return tensor_list # n x 768 embeddings, n = len(text_list)

reducer = umap.UMAP(n_components=3, random_state=80085, init='spectral'})

for x in range(0,100,100):
pro_list = word_list[x:x+100]
tensors_data = generate_tensor(pro_list)
tensors_numpy = tensors_data.detach().numpy()
reducer.fit(tensors_numpy)


Подробнее здесь: https://stackoverflow.com/questions/792 ... repeatedly