Как эффективно обновить 250 тысяч записей в MySQL с помощью пакетных обновлений? [закрыто] ⇐ MySql

[Anonymous]

Мне нужно обновить 250 тысяч записей в базе данных MySQL. Обновление включает в себя объединение двух таблиц (student_records и enrollment_details) и установку полей допущения_даты и допущенных_by в таблице Student_records на основе таблицы enrollment_details. Условие обновления также фильтрует строки, в которых enrollment_details.enrollment_type = 'new_admission'.
Вот исходный запрос, который я использовал:

Код: Выделить всё

UPDATE student_records sr
JOIN enrollment_details ed ON ed.enrollment_id = sr.student_id
SET
sr.admission_date = ed.enrollment_date,
sr.admitted_by = ed.enrolled_by
WHERE
ed.enrollment_type = 'new_admission';

Это отлично работает для небольших наборов данных, но для записей размером 250 тысяч либо время ожидания истекает, либо таблица блокируется на слишком долгое время, что влияет на другие процессы.
Я попробовал как подход на основе SQL с циклом WHILE, так и подход на основе Python с использованием pymysql. Однако в подходе SQL обновляется только первый пакет строк, а последующие пакеты не запускаются. В подходе Python скрипт выполняется без ошибок, но не обновляет записи.
Я также пробовал:
DELIMITER //
СОЗДАТЬ ПРОЦЕДУРУ UpdateStudentRecords()
НАЧАТЬ
ОБЪЯВИТЬ выполненное INT DEFAULT 0;

Код: Выделить всё

REPEAT
UPDATE student_records sr
JOIN enrollment_details ed ON ed.enrollment_id = sr.student_id
SET
sr.admission_date = ed.enrollment_date,
sr.admitted_by = ed.enrolled_by
WHERE
ed.enrollment_type = 'new_admission'
AND sr.admission_date IS NULL
LIMIT 1000;

-- Check if any rows remain to be updated
IF ROW_COUNT() = 0 THEN
SET done = 1;
END IF;
UNTIL done END REPEAT;

END //
DELIMITER ;
CALL UpdateStudentRecords();
Я ожидаю:

• Эффективно обновить все 260 000 записей без тайм-аута или слишком длительной блокировки таблицы.
• Убедитесь, что обновления выполняются управляемыми пакетами, чтобы процесс был надежный и масштабируемый.
• Определите, почему опробованные мной подходы не работают должным образом.

Подробнее здесь: https://stackoverflow.com/questions/793 ... ch-updates