Создание множества жестких ссылок на один файл постепенно замедляет создание жестких ссылок. ⇐ Python

[Anonymous]

Я написал сценарий резервного копирования на Python, который использует жесткие ссылки для создания полных резервных копий, экономя при этом много места. При создании новой резервной копии самая последняя резервная копия сравнивается с исходными файлами. Если исходный файл не изменился (что определяется размером файла и временем модификации) с момента последнего резервного копирования, вместо копирования исходного файла создается жесткая ссылка на самую последнюю резервную копию (например, rsync с -- link-dest=$previous_backup или Time Machine в macOS). Это экономит много места, поскольку большинство моих файлов никогда не изменяются (например, фотографии, музыка, видео, загруженные электронные письма).
После восьмого резервного копирования, в котором большинство файлов жестко связаны, резервное копирование постепенно занимает все больше и больше времени. См. график ниже, где ось X — количество резервных копий после первой (следовательно, количество жестких ссылок для большинства файлов), а ось Y — количество минут для завершения резервного копирования. Размер резервных копий составляет около 350 ГБ в 166 000 файлов.


Если я заставлю резервную копию копировать все файлы без создания жестких ссылок, то все последующие резервные копии будут быстрыми снова. Но после 9-го или 10-го резервного копирования время снова постепенно увеличивается.
Присуще ли такое поведение жестким ссылкам или файловой системе NTFS? Есть ли способ обойти это?
Некоторые соответствующие статьи найдены в Google:

• Публикация, в которой обсуждается подобное поведение с некоторыми догадками о причине в ответах.
• Инженер Microsoft обсуждает общую архитектуру NTFS и ее отношение к системным вызовам.

Подробнее здесь: https://stackoverflow.com/questions/790 ... nk-creatio