Как эффективно обновить 250 тысяч записей в MySQL с помощью пакетных обновлений? ⇐ MySql

[Anonymous]

Мне нужно обновить 250 тысяч записей в базе данных MySQL. Обновление включает в себя объединение двух таблиц (student_records и enrollment_details) и установку полей допущения_даты и допущенных_by в таблице Student_records на основе таблицы enrollment_details. Условие обновления также фильтрует строки, в которых enrollment_details.enrollment_type = 'new_admission'.
Вот исходный запрос, который я использовал:

Код: Выделить всё

UPDATE student_records sr
JOIN enrollment_details ed ON ed.enrollment_id = sr.student_id
SET
sr.admission_date = ed.enrollment_date,
sr.admitted_by = ed.enrolled_by
WHERE
ed.enrollment_type = 'new_admission';

Это отлично работает для небольших наборов данных, но для записей размером 250 000 либо время ожидания истекает, либо таблица блокируется на слишком долгое время, что влияет на другие процессы.
Я попробовал как подход на основе SQL с циклом WHILE, так и подход на основе Python с использованием pymysql. Однако в подходе SQL обновляется только первый пакет строк, а последующие пакеты не запускаются. При использовании Python скрипт выполняется без ошибок, но не обновляет записи.
Я ожидаю:

• Эффективно обновляйте все 260 000 записей без тайм-аута и блокировки таблицы на слишком долгий срок.
• Убедитесь, что обновления выполняются управляемыми пакетами, чтобы процесс был надежным и масштабируемым.
• Определите, почему опробованные мной подходы не работают должным образом. ожидается.

Подробнее здесь: https://stackoverflow.com/questions/793 ... ch-updates