Что получится
Одинаковые (5000 байт, 563d1dc1b55c):
a.png
2025\a-copy.png
Одинаковые (300000 байт, 58c9402bf416):
IMG_2041 (1).jpg
Телефон\IMG_2041.jpg
2025\лето\IMG_2041.jpg
Групп дубликатов: 2
В группе — один и тот же файл в разных местах. Какой оставить, решаем сами: удаляем лишние руками.
По шагам
Пишем скрипт
Файл
duplicates.py:import hashlib from pathlib import Path FOLDER = Path.home() / "Pictures" def file_hash(path): """SHA-256 содержимого: одинаковые файлы — одинаковый хэш, имя и дата не важны.""" with open(path, "rb") as f: return hashlib.file_digest(f, "sha256").hexdigest() # Шаг 1: группируем по размеру — файлы разного размера точно разные, их не читаем by_size = {} for path in FOLDER.rglob("*"): if path.is_file(): size = path.stat().st_size by_size.setdefault(size, []).append(path) # Шаг 2: внутри группы одного размера сравниваем хэши by_hash = {} for size, paths in by_size.items(): if len(paths) < 2: continue for path in paths: by_hash.setdefault(file_hash(path), []).append(path) groups = 0 for digest, paths in by_hash.items(): if len(paths) < 2: continue groups = groups + 1 print(f"Одинаковые ({paths[0].stat().st_size} байт, {digest[:12]}):") for path in paths: print(" ", path.relative_to(FOLDER)) print("Групп дубликатов:", groups)Запускаем
python duplicates.pyДругая папка — меняем
FOLDER, напримерPath("D:/Фото").Разбираем группы
Открываем файлы из группы и удаляем лишние копии в Проводнике — в корзину, а не насовсем. Запускаем скрипт ещё раз: этих групп больше нет.
Что здесь нового
- Чтение файла:
with open.open(path, "rb")открывает файл на чтение (r) как байты (b) — картинку читаем байтами, не текстом.withзакрывает файл, когда блок закончился, даже если внутри случилась ошибка. - Хэш файла. SHA-256 превращает содержимое любого размера в 64 шестнадцатеричных символа. Совпали хэши — совпало содержимое: случайно два разных файла с одним SHA-256 на практике не встречаются. В выводе — первые 12 символов, этого хватает, чтобы различать группы.
- Группировка:
setdefault. Словарь служит памятью «что уже видели»: ключ — размер или хэш, значение — список путей.by_size.setdefault(size, [])возвращает список для этого ключа, а если ключа ещё нет — сначала кладёт пустой..append(path)дописывает путь..items()перебирает пары «ключ, значение».
Почему сначала размер
Хэш требует прочитать файл целиком, а размер известен без чтения — его хранит файловая система. В папке с фото размеры почти у всех разные, и до хэша доходят единицы файлов. Без первого шага скрипт прочитал бы каждый байт папки.
Если не работает
Два одинаковых на вид фото не попали в дубликаты
- Причина
- Содержимое отличается: телефон или мессенджер пересжал фото, поменял размер или метаданные. Хэш меняется от любого байта.
- Делаем
- Скрипт ищет только точные копии. Похожие картинки ищут по-другому — сравнением изображений, это отдельная задача.
AttributeError: module 'hashlib' has no attribute 'file_digest'
- Причина
- Python старше 3.11:
hashlib.file_digestпоявился в 3.11. - Делаем
- Ставим свежий Python (
python --version— 3.11 и новее).
Скрипт долго молчит на папке с видео
- Причина
- Файлов одного размера много, и каждый читается целиком: хэш 10 ГБ видео — это чтение 10 ГБ с диска.
- Делаем
- Ждём или запускаем на папке поменьше. Разный размер скрипт не читает вовсе — поэтому на фото он быстрый.
Как проверить
Копируем любое фото в соседнюю папку и переименовываем копию. Скрипт показывает их одной группой. Меняем в копии один пиксель в редакторе и сохраняем — группа пропала.