Как переместить файлы журналов конкретных пользователей в AWS S3 и обновить таблицу пользователей в CodeIgniter 3 для 1, ⇐ Php

[Anonymous]

Я работаю над проектом с использованием CodeIgniter 3, где я храню журналы конкретных пользователей в отдельных файлах для каждого пользователя. У меня около 1,3 миллиона пользователей, и мне нужно переместить эти файлы журналов в корзину AWS S3. После успешной загрузки файлов мне также необходимо обновить соответствующие записи в таблице пользователей в моей базе данных.
Учитывая большое количество пользователей, как лучше всего:
Эффективно загрузите эти файлы журналов для конкретных пользователей в AWS S3.
Обновите пользовательские данные в базе данных после успешной загрузки файлов.
Любые советы по работе с этим крупномасштабным Эффективная работа, а также примеры кода будут очень признательны. Спасибо!
Что я пробовал:
Я создал два метода:

• Первый метод генерирует текстовые файлы партиями по 10 000 пользователей. Каждый файл содержит массив объектов, где каждый объект имеет локальный путь к файлу, путь S3, где файл должен храниться, и идентификатор пользователя.
• Второй метод считывает сгенерированный файл. текстовый файл, загружает данные в S3, обновляет таблицу пользователей с указанием пути S3 и удаляет текстовый файл после завершения пакета.
  Процесс пакетного создания и удаления работает нормально, но я все еще ищу способы оптимизировать этот рабочий процесс для эффективной обработки всех 1,3 миллиона пользователей.

Проблема, с которой я столкнулся, заключается в том, что после загрузки 300–400 файлов я получаю ошибка «превышено максимальное время выполнения», которая останавливает весь процесс.
Чего я ожидал:
Я надеялся найти эффективный способ пакетной загрузки файлов в AWS S3 без превышения времени выполнения ограничить и убедиться, что база данных обновляется правильно.
Вопросы:
Как оптимизировать массовую загрузку файлов в AWS S3, чтобы избежать сбоев при выполнении ограничение по времени?
Есть ли способ группировать или ставить в очередь эти загрузки в CodeIgniter, чтобы предотвратить истечение времени процесса?
Какие стратегии я могу использовать, чтобы обеспечить эффективное завершение всего процесса загрузки и обновления для 1,3 миллиона пользователей?
Будем очень признательны за любые советы, примеры кода или рекомендации по выполнению этой крупномасштабной операции без превышения ограничения по времени выполнения!

Подробнее здесь: https://stackoverflow.com/questions/791 ... e-in-codei