Обнаружение дубликатов файлов на основе двоичного содержимого ⇐ Python

[Anonymous]

Итак, вот моя текущая ситуация. У меня есть папка с текстурами, которые я извлек из игры, но они не были сохранены эффективно, поэтому теперь у меня есть огромное количество текстур, некоторые из которых уникальны, но большинство из них — просто дубликаты. Но есть и такие, которые кажутся человеческому глазу дубликатами, но имеют незначительные различия.
Сейчас я просто перетаскиваю 2 похожих изображения в HxD и запускаю функцию сравнения файлов, чтобы проверить отличаются они или нет.
Но мне интересно, есть ли способ автоматизировать это с помощью какой-нибудь команды Windows, команды WSL Linux или даже простого сценария Python.
Большую часть результатов я получаю, когда поиск этого - это просто команды, которые ищут количество файлов с одинаковым расширением, а затем говорят, что ЭТО являются дубликатами, то есть они смотрят только на расширение, а то, что я ищу, НЕ смотрит ни на имя файла, ни на расширение, а на фактическое двоичное содержимое каждого файла и удаляет все встреченные дубликаты



Подробнее здесь: https://stackoverflow.com/questions/792 ... ry-content