Проверьте на наличие дубликатов с большой стратегией наборов данных [закрыто] ⇐ MySql

[Anonymous]

Мне нужно реализовать дублированный поиск с довольно большими наборами данных. Я работаю с JS, PHP, MySQL.
У меня есть записи таблицы базы данных , каждая запись содержит данные , полученные из электронной таблицы. Количество строк данных находится в диапазоне 1K -200k, количество столбцов строк исправлено, допустим, 10.
Метод хранения данных записывает данные - я могу использовать выделенную таблицу для строк данных или сохранить ее в JSON/Blob/ETC. Поле в таблице записей. < /p>
Теперь требовалось: Проверьте на наличие дубликатов между новым набором данных (в настоящее время обрабатывается) и существующими данными записей. Руки. /> Дубликат, в данном случае, определяется составным ключом из 2 или трех столбцов. Строки - Проблемы с памятью, max_excution_time и т. Д. < /p>
Я в настоящее время тестирую решение на стороне клиента с использованием листовых и канволных данных, которые, кажется, обрабатывают наборы строк 130 тыс. обработка.

Подробнее здесь: https://stackoverflow.com/questions/797 ... t-strategy