Каковы наилучшие способы реализации нечеткого поиска в приложении FastAPI с PostgreSQL? [закрыто] ⇐ Python

[Anonymous]

У меня есть таблица с миллионами строк, содержащих названия компаний, и я хочу выполнить нечеткий поиск по этим данным (т. е. найти похожие совпадения для заданной строки). Каковы наилучшие методы реализации этого в производственной среде?
При разработке я тестировал следующие подходы:

• < li>Использование библиотеки RapidFuzz:
  • Я пакетно загружаю столбец из таблицы и использую Process.extract для поиска совпадений.
  • Недостаток: этот подход очень медленный: на 500 км требуется около 8 секунд. строк.
• Использование индексов PostgreSQL GIST и расширений, таких как fuzzystrmatch и pg_trgm:
  • Я тестировал как fuzzystrmatch (с использованием расстояния Левенштейна), так и pg_trgm (с использованием сходства).
  • fuzzystrmatch кажется более быстрым и подходящим, поскольку названия компаний относительно короткие.
  • Обеспокоенность: добавление индекса может замедлить такие операции, как вставка, обновление и удаление.

Каким будет наиболее эффективный и масштабируемый подход к реализации нечеткого поиска в этом сценарии? Существуют ли другие библиотеки, методы или оптимизации, которые мне следует рассмотреть?

Подробнее здесь: https://stackoverflow.com/questions/793 ... ion-with-p