Оптимизация RESTIC и RCLONE для резервного копирования больших каталогов с файлами 65K+: Проблемы с производительностью ⇐ Linux

[Anonymous]

В настоящее время я работаю над решением резервного копирования/восстановления для критически важного приложения с ~ 100-200 ГБ данных, которое, как ожидается, будет расти с течением времени. Я использую RESTIC для резервных копий и RCLONE для монтажа и передачи. Тем не менее, я сталкиваюсь с проблемами производительности при резервном копировании больших каталогов с большим количеством файлов (65K+).
Архитектура:

• Сервер A (Источник): Источник данных (невозможно выполнять резервные копии здесь напрямую) (Может ли SSH в A и крепление через SSHFS или RCLONE) (SFTP) Монтируется с опциями: < /li>
  < /ol>

  Код: Выделить всё

  rclone mount remote:/source/dir /mnt/remote --vfs-cache-mode=minimal
  < /code>
  и: < /p>
  rclone mount remote:/source/dir /mnt/remote --vfs-cache-mode=off
  

  • Tried SSHFS as an alternative mount method
  • Mounted Hetzner Storage Box using Restic via SFTP
  Observations:
• Performance is lower than expected when backing up каталоги с 62K+ файлами (~ 70-80 ГБ)
• Резервные копии больших Zip-файлов (~ 20 ГБ) Полное (5-6 минут)
• Тестирование производительности с DD на ZIP-файле ~ 70 МБ/с. MBIT/S BANDWIDTH

Вопросы:

Использует ли Server или другой бэкэнд улучшить скорость чтения для каталогов с большим количеством файлов? 65K+ файлы? Если так, как это будет работать в архитектуре сервера к серверу с RESIC для резервных копий?>

Подробнее здесь: https://stackoverflow.com/questions/795 ... 5k-files-p