Стабильная оптимизация семантической подсказки диффузии: от плохого к хорошему, быстро ⇐ Python

[Anonymous]

Разработчику 0,5x нужна помощь умных людей из этого сообщества.
Проблема: у меня есть стабильное приглашение на распространение, которое я получаю от LLM, со случайными тегами, разделенными запятыми и пробелами, для изображение (например: красная машина, черные диски, фон города, небоскребы).
Моя модель стабильной диффузии текста в изображение обучается на определенном списке слов (или тегов), которые, если их игнорировать, приводят к плохим результатам. качество и детализация изображения. Каждому из этих хороших тегов присвоено значение в зависимости от того, как часто он использовался для обучения модели SD. Это означает, что слова с более высокими значениями с большей вероятностью будут интерпретированы правильно.
Что я хочу сделать: создать систему, которая проверяет каждый тег моего неправильного приглашения в semantic< /em> сходство со списком хороших тегов, при этом отдавая приоритет словам с присвоенным им более высоким значением. В данном случае меня не особо волнует идеальное решение, а скорее быстрое улучшение плохой подсказки.
Другие переменные, которые следует учитывать: я не могу себе позволить запускать llm локально. который я могу обучать, а не обучать его в облаке, поэтому это должно происходить дешево.
Решение, которое я рассмотрел: вычислить какое-то векторное встраивание для каждого тега из правильный список, также учитывая их ценность, и сравните/замените плохие слова на наиболее похожий из встраивания с использованием ИНС, если еще не включен в список.
Что вы думаете?

Подробнее здесь: https://stackoverflow.com/questions/793 ... -good-fast