Как эффективно обновить 2,5 лакха записей в MySQL с помощью пакетных обновлений? ⇐ MySql

[Anonymous]

Мне нужно обновить 2,5 лакха записей в базе данных MySQL. Обновление включает в себя объединение двух таблиц (student_records и enrollment_details) и установку полей допущения_даты и допущенных_by в таблице Student_records на основе таблицы enrollment_details. Условие обновления также фильтрует строки, в которых enrollment_details.enrollment_type = 'new_admission'.
Вот исходный запрос, который я использовал:
UPDATE Student_records sr

JOIN enrollment_details ed ON ed.enrollment_id = sr.student_id

SET

sr.admission_date = ed.enrollment_date,

sr.admitted_by = ed.enrolled_by

ГДЕ

ed.enrollment_type = 'new_admission';
Это отлично работает для небольших наборов данных, но для записей объемом 2,5 лакха либо истекает время ожидания, либо таблица блокируется на слишком долгое время, что влияет на другие процессы.
Я попробовал как подход на основе SQL с циклом WHILE, так и подход на основе Python с использованием pymysql. Однако в подходе SQL обновляется только первый пакет строк, а последующие пакеты не запускаются. В подходе Python сценарий выполняется без ошибок, но не обновляет никаких записей.
Чего я ожидаю
Я ожидаю:
Эффективно обновляйте все 2,5 лакха записей без тайм-аутов и блокировки таблицы на слишком долгий срок.
Убедитесь, что обновления выполняются управляемыми пакетами, чтобы процесс был надежным и масштабируемым.
Определите, почему опробованные мной подходы не являются таковыми. работаю как ожидаемо.


Подробнее здесь: https://stackoverflow.com/questions/793 ... ch-updates