basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN
    МануалHomelabБэкапы

    Kopia server: бэкап, который не сотрёт взломанный сервер

    Kopia на втором сервере принимает снимки по сети и проверяет права у каждого запроса: web1 пишет и читает свои снимки, но не удаляет их и не меняет срок хранения. Хранение в политике Kopia выключено, старые снимки по возрасту удаляет сам backup1 — поэтому root на web1 не сотрёт ни одного снимка моложе 90 дней.

    Чем опасен ключ от хранилища на сервере

    Ключ, с которым web1 ходит в хранилище, разрешает и удалять. В рецепте «Бэкап, который переживёт сервер» это ключ SFTP в /srv/secrets/kopia/ или доступ rclone к Google Drive: по SFTP удаляются файлы в /srv/kopia/web1, rclone удаляет в своей папке на Диске. Кто получил root на web1, получил и этот доступ — и сотрёт копии раньше, чем мы заметим взлом.

    Kopia server меняет схему. К файлам хранилища ходит только сам backup1, а web1 отправляет ему запросы по сети и получает те права, которые ему выдали. Права удалять снимки ему не выдаём.

    Как это устроено

    web1                                              backup1
    sudo kopia snapshot create ── TLS, порт 51515 ──▶ kopia server, пользователь kopia
      входит как root@web1 с паролем                    │ права: свои снимки — APPEND, политики — READ
      сертификат backup1 сверяет по отпечатку           │ шифрует ключом хранилища
                                                        ▼
                                                 /srv/kopia/web1 — файлы хранилища
                                                        ▲
                          kopia-expire.timer ───────────┤ раз в сутки удаляет снимки старше 90 дней
                          обслуживание хранилища ───────┘ запускает сам kopia server

    Что выходит у root на web1:

    Команда на web1 Ответ backup1
    kopia snapshot create /opt снимок записан
    kopia snapshot restore … восстанавливает: свои снимки web1 читает
    kopia snapshot list --all только свои снимки, чужих серверов не видно
    kopia snapshot delete <ID> --delete error deleting manifest: access denied
    kopia policy set --global --keep-latest 1 unable to delete previous manifest: access denied
    kopia maintenance run --full operation supported only on direct repository

    Шифрование переезжает на backup1. Пароля хранилища web1 не знает: у него только пароль пользователя root@web1. Данные идут к backup1 под TLS, а ключом хранилища их шифрует Kopia уже на backup1 — значит, backup1 видит всё, что бэкапим, и хранит пароль хранилища. В варианте А рецепта backup1 получал только зашифрованные куски. Поэтому backup1 — свой сервер, где входим только мы.

    Стереть снимки web1 не может, а забить диск backup1 мусорными снимками — может. Порог на диск backup1 ставим так же, как на web1 в «Метрики, доступность и уведомления»: агент Beszel и «Использование диска».

    Где APPEND не спасает: хранение снимков

    После каждого снимка Kopia применяет хранение: по политике решает, какие старые снимки больше не нужны, и удаляет их. С сервером хранилища это делает backup1 по просьбе web1, и для такой просьбы хватает APPEND — так в исходнике Kopia, internal/server/grpc_session.go. Политику web1 не поменяет, но время снимка задаёт он сам: у kopia snapshot create есть --start-time. В каждом дне, неделе и месяце хранение оставляет самый новый снимок. Подделка, датированная вечером того же дня, вытесняет настоящий ночной снимок, и backup1 удаляет настоящий сам.

    Опыт на пробном каталоге с политикой «2 последних и 3 дневных». До — настоящие снимки:

    root@web1:/srv/lab-data
      2026-11-10 03:00:00 UTC k185db17c16287b9c4086ed7d7746dc2f 52 B drwxr-xr-x files:2 dirs:1 (daily-3)
      2026-11-11 03:00:00 UTC k4945c54c6e4f4f01f2de82f2f9106faf 52 B drwxr-xr-x files:2 dirs:1 (daily-2)
      2026-11-12 05:25:28 UTC k1db84fa9902997eba85e524cb38e07af 47 B drwxr-xr-x files:2 dirs:1 (latest-2)
      2026-11-12 05:25:45 UTC k9d43e261a362e43d50dad11dbe85ff35 47 B drwxr-xr-x files:2 dirs:1 (latest-1,daily-1)

    После четырёх снимков с web1 — два с --start-time на 23:00 прошлых дней и два обычных:

    root@web1:/srv/lab-data
      2026-11-10 23:00:00 UTC k2d3e19648417f1fa2a09c4829c4b8a67 52 B drwxr-xr-x files:2 dirs:1 (latest-1..2,daily-1..3)
      + 3 identical snapshots until 2026-11-12 05:28:31 UTC

    Остались только подделки. Выход — выключить хранение: если все keep-* равны нулю, Kopia оставляет все снимки (EffectiveKeepLatest в snapshot/policy/retention_policy.go), и просьба web1 ничего не удаляет. Та же подделка против нулей: все настоящие снимки на месте, подделки лежат рядом.

    Старые снимки удаляет таймер на backup1, по одному правилу — возрасту: старше 90 дней — удаляем, моложе — нет. Подделка не делает настоящий снимок старше, поэтому снимок моложе 90 дней с web1 не стереть. Прореживания, как в сценариях рецепта, нет: 90 дней лежит каждый снимок. Место занимают только изменения — неизменённый файл в девяностом снимке не стоит ничего.

    Срок — сколько времени даём себе заметить порчу. Испорченные данные замечают не сразу, а каждую ночь в бэкап уходит уже испорченное; 90 дней — квартал.

    Чем ещё закрывают удаление

    Чем Как работает Когда берём
    Kopia server, APPEND и срок на backup1 права у каждого запроса, удаляет только backup1 есть второй свой сервер — схема этого мануала
    Блокировка объектов в S3 хранилище само не даёт удалить файл до срока: --retention-mode и --retention-period у kopia repository create s3; срок продлевает полное обслуживание, --extend-object-locks у kopia maintenance set второго сервера нет, хранилище облачное, с Object Lock
    Снимки файловой системы на backup1 ZFS или btrfs раз в сутки делают снимок каталога хранилища только для чтения; web1 до них не дотягивается backup1 на ZFS или btrfs; подходит и к SFTP из рецепта

    Настройка

    backup1 — второй сервер, настроенный по уровню 1 («Новый сервер»); на web1 Kopia уже стоит (этап 1 «Бэкап, который переживёт сервер»). Все команды, кроме шага 9, — на backup1.

    1. Kopia и пользователь kopia

      curl -s https://kopia.io/signing-key | sudo gpg --dearmor -o /etc/apt/keyrings/kopia-keyring.gpg
      echo "deb [signed-by=/etc/apt/keyrings/kopia-keyring.gpg] http://packages.kopia.io/apt/ stable main" | sudo tee /etc/apt/sources.list.d/kopia.list
      sudo apt update && sudo apt install -y kopia jq
      sudo adduser --disabled-password --comment '' --home /srv/kopia kopia
      sudo install -d -m 700 -o kopia -g kopia /srv/kopia/web1

      Kopia server работает от пользователя kopia, а не от root: файлы хранилища, пароль и сертификат лежат в его каталоге /srv/kopia. jq нужен скрипту очистки из шага 8.

      Если на backup1 уже есть хранилище варианта А, пользователь kopia и /srv/kopia/web1 уже созданы — ставим только kopia и jq.

    2. Хранилище

      Новое хранилище — с паролем, который сначала сохраняем в менеджер паролей (openssl rand -base64 24, как в этапе 1 рецепта). Команда спрашивает его дважды:

      sudo -u kopia -H kopia repository create filesystem --path=/srv/kopia/web1

      Kopia запоминает пароль в /srv/kopia/.config/kopia/repository.config.kopia-password (600), поэтому служба стартует без ввода. Последние строки вывода — Kopia will perform quick maintenance … when running as kopia@backup1: обслуживание закреплено за сервером хранилища.

      Хранилище варианта А уже лежит в /srv/kopia/web1. Подключаемся к нему паролем из менеджера паролей и забираем обслуживание у web1:

      sudo -u kopia -H kopia repository connect filesystem --path=/srv/kopia/web1
      sudo -u kopia -H kopia maintenance set --owner=me
      # Setting maintenance owner to kopia@backup1

      Обслуживание — удаление ненужных данных и уплотнение индексов — закреплено за тем, кто создавал хранилище, то есть за root@web1. Через сервер web1 его не запустит, и без смены владельца место от удалённых снимков не освободится. Снимки, политики и история остаются как были.

    3. Хранение — нули

      sudo -u kopia -H kopia policy set --global --compression=zstd \
        --keep-latest 0 --keep-hourly 0 --keep-daily 0 --keep-weekly 0 --keep-monthly 0 --keep-annual 0
      sudo -u kopia -H kopia policy set root@web1:/opt --add-ignore 'memos/data/memos_prod.db*' --add-ignore 'traefik/data/logs/'

      Нули — чтобы хранение по просьбе web1 ничего не удаляло (раздел выше). Сценарии хранения из рецепта заменяет срок в днях из шага 8.

      Политики снимков web1 теперь ставим на backup1, с именем источника: root@web1:/opt. Вторая команда — правила --add-ignore из этапа 3 рецепта. У хранилища варианта А они уже записаны — её пропускаем.

    4. Права: снимки — APPEND, политики — READ

      sudo -u kopia -H kopia server acl enable
      sudo -u kopia -H kopia server acl add --user '*@*' --access APPEND \
        --target type=snapshot,username=OWN_USER,hostname=OWN_HOST --overwrite
      sudo -u kopia -H kopia server acl add --user '*@*' --access READ \
        --target type=policy,username=OWN_USER,hostname=OWN_HOST --overwrite
      sudo -u kopia -H kopia server acl list

      acl enable записывает шесть правил — те же права, что были без них: каждый клиент полностью (FULL) распоряжается своими снимками и политиками. Две команды меняют эти два правила: --overwrite находит правило с тем же пользователем и целью. OWN_USER и OWN_HOST — имя того, кто подключился, поэтому правило одно на все серверы, а видит каждый только своё. На новом хранилище acl enable заодно запускает полное обслуживание — строки Running full maintenance....

      id:9a39ecd380ced6044309f7911a9efb3c user:*@* access:APPEND target:type=content
      id:8ec7339413bcb38a35db1052522d0af4 user:*@* access:READ target:type=policy,policyType=global
      id:acf47e1b862cc57ee3fa22d9503dd2a1 user:*@* access:READ target:type=policy,hostname=OWN_HOST,policyType=host
      id:e7bbb0c1e3dd4110bd2623e556c6cada user:*@* access:FULL target:type=user,username=OWN_USER@OWN_HOST
      id:a065bfda1d63e9e5dbc458e48f62c95a user:*@* access:APPEND target:type=snapshot,hostname=OWN_HOST,username=OWN_USER
      id:0d4f2229804860c7b419734906b166e8 user:*@* access:READ target:type=policy,hostname=OWN_HOST,username=OWN_USER

      APPEND у type=content — запись данных снимков, тоже без удаления. FULL у type=user — клиент может сменить свой пароль.

    5. Пользователь root@web1

      openssl rand -base64 18
      sudo -u kopia -H kopia server user add root@web1

      Kopia узнаёт клиента по имени пользователь@сервер: sudo kopia на web1 — это root@web1. user add спрашивает пароль дважды — вставляем строку из openssl. web1 запомнит пароль при подключении, а в менеджере паролей он не нужен: забытый меняем на backup1 командой kopia server user set root@web1 --ask-password.

      Второй сервер — тот же backup1 и то же хранилище: user add root@web2, затем sudo systemctl reload kopia-server, если служба уже работает. Одинаковые данные Kopia хранит один раз на всё хранилище, поэтому одинаковые файлы двух серверов место дважды не занимают.

    6. Сертификат

      sudo -u kopia openssl req -x509 -newkey ec -pkeyopt ec_paramgen_curve:prime256v1 -nodes -days 3650 \
        -subj /CN=backup1 -keyout /srv/kopia/tls.key -out /srv/kopia/tls.crt
      sudo openssl x509 -in /srv/kopia/tls.crt -noout -fingerprint -sha256 | sed 's/://g' | cut -d= -f2

      Без TLS Kopia server не запускается: TLS not configured. To start server without encryption pass --insecure. Сертификат свой: web1 сверяет не подпись, а отпечаток SHA-256, который мы передадим ему сами в шаге 9, — его печатает вторая команда. Имя и адрес в сертификате ни на что не влияют: web1 подключается по адресу, а в сертификате CN=backup1. Срок — 10 лет, чтобы не менять: новый сертификат — новый отпечаток, и web1 придётся подключать заново.

    7. Служба и порт

      /etc/systemd/system/kopia-server.service
      [Unit]
      Description=Сервер хранилища Kopia
      Wants=network-online.target
      After=network-online.target
      
      [Service]
      User=kopia
      Group=kopia

      Служба работает от kopia. По User= systemd задаёт HOME=/srv/kopia — там Kopia находит подключение к хранилищу и его пароль.

      ExecStart=/usr/bin/kopia server start \
        --address=0.0.0.0:51515 \
        --tls-cert-file=/srv/kopia/tls.crt --tls-key-file=/srv/kopia/tls.key \
        --no-ui
      Главное

      0.0.0.0:51515 — все адреса и порт Kopia по умолчанию; кого пускать, решает ufw. --no-ui — без веб-интерфейса: управляем командами на backup1, и лишнего входа на порту нет.

      # Перечитать пользователей, права и политики без перезапуска: systemctl reload kopia-server
      ExecReload=/bin/kill -HUP $MAINPID
      Restart=on-failure
      

      systemctl reload шлёт SIGHUP, и Kopia перечитывает пользователей, права и политики. Без него новый пользователь заработает через 5–10 минут, правка политики — через 4 часа.

      [Install]
      WantedBy=multi-user.target

      Служба стартует при загрузке.

      sudo systemctl daemon-reload && sudo systemctl enable --now kopia-server
      sudo ufw allow from 203.0.113.10 to any port 51515 proto tcp
      sudo journalctl -u kopia-server -n 3
      # … SERVER ADDRESS: https://[::]:51515

      Порт открыт только адресу web1. [::] в выводе — Kopia слушает все адреса, IPv4 тоже.

    8. Срок хранения — таймер на backup1

      Скрипт — в каталоге скриптов сервера: sudo mkdir -p /opt/scripts.

      /opt/scripts/kopia-expire.sh
      #!/bin/sh
      # Удаляет снимки старше KEEP_DAYS по времени снимка. Запускает kopia-expire.timer на сервере хранилища
      set -eu
      
      KEEP_DAYS=90
      
      Главное

      Срок в днях: снимок старше удаляется, моложе — нет. Других правил нет, поэтому подделки с web1 ничего не меняют: они не делают настоящий снимок старше.

      cutoff=$(date -u -d "-$KEEP_DAYS days" +%Y-%m-%dT%H:%M:%SZ)
      

      Граница — в UTC и в том же виде, что время снимков в JSON Kopia: 2026-11-09T03:00:00Z. Kopia пишет время в UTC при любом часовом поясе клиента, поэтому строки сравниваются как даты.

      kopia snapshot list --all --json |
        jq -r --arg cutoff "$cutoff" '.[] | select(.startTime < $cutoff) | .id' |
        xargs -r kopia snapshot delete --delete

      Снимки всех серверов, ID тех, что старше границы, и snapshot delete по ним. Если удалять нечего, xargs -r команду не запускает.

      /etc/systemd/system/kopia-expire.service
      [Unit]
      Description=Снимки Kopia старше срока
      
      [Service]
      Type=oneshot
      User=kopia
      Group=kopia
      ExecStart=/opt/scripts/kopia-expire.sh

      Тот же пользователь kopia: скрипт ходит в хранилище напрямую, с полными правами, а не через сервер.

      /etc/systemd/system/kopia-expire.timer
      [Unit]
      Description=Удалять снимки Kopia старше срока раз в сутки
      
      [Timer]
      OnCalendar=*-*-* 05:00
      Persistent=true
      
      [Install]
      WantedBy=timers.target

      Раз в сутки в 05:00. Persistent=true догоняет пропуск: backup1 был выключен в 05:00 — очистка пройдёт после загрузки.

      sudo chmod 755 /opt/scripts/kopia-expire.sh
      sudo systemctl daemon-reload && sudo systemctl enable --now kopia-expire.timer
      sudo systemctl start kopia-expire.service && systemctl show kopia-expire.service -p Result
      # Result=success

      Скрипт без секретов, а запускает его kopia, поэтому права — 755, а не 700, как у скриптов root.

    9. Подключаем web1

      На web1. Если web1 ходил в хранилище по SFTP, сначала отключаем его: sudo kopia repository disconnect.

      sudo kopia repository connect server --url=https://198.51.100.20:51515 --server-cert-fingerprint=<отпечаток>
      # Connecting to server 'https://198.51.100.20:51515' as 'root@web1'...
      # Enter password to open repository:
      # Connected to repository API Server.

      <отпечаток> — строка из шага 6. На вопрос о пароле вставляем пароль root@web1 из шага 5, а не пароль хранилища. backup.sh, таймеры и проверка восстановления из рецепта работают как были: snapshot create, snapshot verify и snapshot restore идут через сервер.

      Был вариант А — убираем ключ web1 на backup1: пока он в authorized_keys, root на web1 удаляет файлы хранилища по SFTP в обход всех прав Kopia. Ключ и known_hosts на web1 больше не нужны — sudo rm /srv/secrets/kopia/id_ed25519* /srv/secrets/kopia/known_hosts.

      sudo sed -i '/kopia@web1$/d' /srv/kopia/.ssh/authorized_keys

      Новый web1 после переезда («Переезд на новый сервер») подключается так же: на backup1 — новый пароль kopia server user set root@web1 --ask-password и reload, на web1 — команда выше.

    Если не работает

    repository connect server пишет can't find certificate matching SHA256 fingerprint

    Причина
    Отпечаток в команде не совпал с сертификатом backup1: скопирован не целиком или сертификат создан заново.
    Делаем
    На backup1 печатаем отпечаток командой из шага 6 и подключаемся с ним. Из текста ошибки (server had […]) отпечаток не берём: сверка с выводом на backup1 и есть проверка, что на том конце он.

    Подключение пишет access denied for root@web1

    Причина
    Пароль не тот или пользователя добавили, когда служба уже работала: Kopia server перечитывает пользователей раз в 5–10 минут.
    Делаем
    На backup1 sudo systemctl reload kopia-server и подключаемся снова. Не помогло — новый пароль: sudo -u kopia -H kopia server user set root@web1 --ask-password, reload и подключение.

    Подключение пишет connection error и dial tcp 198.51.100.20:51515

    Причина
    До порта не достучаться: служба на backup1 не запущена или ufw не пускает адрес web1.
    Делаем
    На backup1 sudo ss -ltnp | grep 51515 — порт слушает kopia; sudo ufw status | grep 51515 — правило с адресом web1.

    kopia policy set на web1 пишет access denied

    Причина
    Так и задумано: политики web1 только читает, иначе он поменял бы хранение.
    Делаем
    Правило ставим на backup1 с именем источника: sudo -u kopia -H kopia policy set root@web1:/opt …, потом sudo systemctl reload kopia-server.

    Политику поменяли на backup1, а web1 видит старую

    Причина
    Kopia server держит политики в памяти и перечитывает хранилище раз в 4 часа (--refresh-interval=4h).
    Делаем
    sudo systemctl reload kopia-server — перечитывает сразу.

    acl add пишет invalid target labels "type:snapshot", must be key=value

    Причина
    Справка acl add показывает цель через двоеточие (type:T,key1:value1), а Kopia 0.23 принимает только =.
    Делаем
    Пишем type=snapshot,username=OWN_USER,hostname=OWN_HOST, как в шаге 4.

    kopia maintenance info на backup1 начинается с Owner: root@web1

    Причина
    Хранилище создавал web1 по варианту А рецепта, и обслуживание закреплено за ним. Через сервер web1 обслуживание не запустит (operation supported only on direct repository), и место от удалённых снимков не освобождается.
    Делаем
    sudo -u kopia -H kopia maintenance set --owner=me — владельцем станет kopia@backup1, обслуживание Kopia server запускает сам.

    Как проверить

    Снимок с web1 не удаляется — пробуем на web1:

    sudo kopia snapshot list /opt -m              # ID снимка — после manifest:
    sudo kopia snapshot delete <ID> --delete
    # error deleting <ID>: error deleting manifest: access denied

    Хранение ничего не удаляет: делаем два снимка подряд, и старые снимки остаются в списке.

    sudo kopia snapshot create /opt && sudo kopia snapshot create /opt
    sudo kopia snapshot list /opt

    Обслуживание за backup1, очистка по расписанию — на backup1:

    sudo -u kopia -H kopia maintenance info | head -5
    # Owner: kopia@backup1
    # Quick Cycle:
    #   scheduled: true
    #   interval: 1h0m0s
    #   next run: …
    sudo journalctl -u kopia-server | grep maintenance
    # … kopia[16752]: Running quick maintenance...
    # … kopia[16752]: Finished quick maintenance.
    systemctl list-timers kopia-expire.timer

    Строки quick maintenance появляются в журнале службы раз в час: обслуживание запускает сам Kopia server. У kopia-expire.timer в NEXT — ближайшие 05:00: так стоит в OnCalendar его файла.