​​Deduplicator Поиск, сортировка, фильтрация и удаление дубликатов файлов Deduplicator использует fxhash (некриптографический алгоритм хеширования) под капотом, который работает очень быстро. В результате Deduplicator способен обрабатывать огромные объемы данных за пару секунд. Во время тестирования Deduplicator смог просмотреть 8,6 ГБ pdf-файлов и обнаружить дубликаты за 2,9 секунды. https://github.com/sreedevk/deduplicator