basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Дубликаты фото по содержимому: хэш и словарь как память

    Скрипт находит одинаковые файлы, даже если у них разные имена и папки: IMG_2041.jpg, IMG_2041 (1).jpg и копия с телефона. Сравнивает содержимое по хэшу SHA-256 и читает только файлы, у которых совпал размер. Ничего не удаляет — печатает группы, решаем сами.

    Новое здесьЧтение файла: with openХэш файлаГруппировка: setdefault

    Что получится

    Одинаковые (5000 байт, 563d1dc1b55c):
        a.png
        2025\a-copy.png
    Одинаковые (300000 байт, 58c9402bf416):
        IMG_2041 (1).jpg
        Телефон\IMG_2041.jpg
        2025\лето\IMG_2041.jpg
    Групп дубликатов: 2

    В группе — один и тот же файл в разных местах. Какой оставить, решаем сами: удаляем лишние руками.

    По шагам

    1. Пишем скрипт

      Файл duplicates.py:

      import hashlib
      from pathlib import Path
      
      FOLDER = Path.home() / "Pictures"
      
      
      def file_hash(path):
          """SHA-256 содержимого: одинаковые файлы — одинаковый хэш, имя и дата не важны."""
          with open(path, "rb") as f:
              return hashlib.file_digest(f, "sha256").hexdigest()
      
      
      # Шаг 1: группируем по размеру — файлы разного размера точно разные, их не читаем
      by_size = {}
      for path in FOLDER.rglob("*"):
          if path.is_file():
              size = path.stat().st_size
              by_size.setdefault(size, []).append(path)
      
      # Шаг 2: внутри группы одного размера сравниваем хэши
      by_hash = {}
      for size, paths in by_size.items():
          if len(paths) < 2:
              continue
          for path in paths:
              by_hash.setdefault(file_hash(path), []).append(path)
      
      groups = 0
      for digest, paths in by_hash.items():
          if len(paths) < 2:
              continue
          groups = groups + 1
          print(f"Одинаковые ({paths[0].stat().st_size} байт, {digest[:12]}):")
          for path in paths:
              print("   ", path.relative_to(FOLDER))
      print("Групп дубликатов:", groups)
    2. Запускаем

      python duplicates.py

      Другая папка — меняем FOLDER, например Path("D:/Фото").

    3. Разбираем группы

      Открываем файлы из группы и удаляем лишние копии в Проводнике — в корзину, а не насовсем. Запускаем скрипт ещё раз: этих групп больше нет.

    Что здесь нового

    • Чтение файла: with open. open(path, "rb") открывает файл на чтение (r) как байты (b) — картинку читаем байтами, не текстом. with закрывает файл, когда блок закончился, даже если внутри случилась ошибка.
    • Хэш файла. SHA-256 превращает содержимое любого размера в 64 шестнадцатеричных символа. Совпали хэши — совпало содержимое: случайно два разных файла с одним SHA-256 на практике не встречаются. В выводе — первые 12 символов, этого хватает, чтобы различать группы.
    • Группировка: setdefault. Словарь служит памятью «что уже видели»: ключ — размер или хэш, значение — список путей. by_size.setdefault(size, []) возвращает список для этого ключа, а если ключа ещё нет — сначала кладёт пустой. .append(path) дописывает путь. .items() перебирает пары «ключ, значение».

    Почему сначала размер

    Хэш требует прочитать файл целиком, а размер известен без чтения — его хранит файловая система. В папке с фото размеры почти у всех разные, и до хэша доходят единицы файлов. Без первого шага скрипт прочитал бы каждый байт папки.

    Если не работает

    Два одинаковых на вид фото не попали в дубликаты

    Причина
    Содержимое отличается: телефон или мессенджер пересжал фото, поменял размер или метаданные. Хэш меняется от любого байта.
    Делаем
    Скрипт ищет только точные копии. Похожие картинки ищут по-другому — сравнением изображений, это отдельная задача.

    AttributeError: module 'hashlib' has no attribute 'file_digest'

    Причина
    Python старше 3.11: hashlib.file_digest появился в 3.11.
    Делаем
    Ставим свежий Python (python --version — 3.11 и новее).

    Скрипт долго молчит на папке с видео

    Причина
    Файлов одного размера много, и каждый читается целиком: хэш 10 ГБ видео — это чтение 10 ГБ с диска.
    Делаем
    Ждём или запускаем на папке поменьше. Разный размер скрипт не читает вовсе — поэтому на фото он быстрый.

    Как проверить

    Копируем любое фото в соседнюю папку и переименовываем копию. Скрипт показывает их одной группой. Меняем в копии один пиксель в редакторе и сохраняем — группа пропала.