basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Бэкап проверяем восстановлением по таймеру

    Бэкап может каждую ночь проходить без ошибок и при этом сохранять пустую базу или ссылаться на куски, которых в хранилище уже нет. Видно это только при восстановлении. Поэтому сервер сам по таймеру восстанавливает данные из хранилища и проверяет, что в них есть записи, а у проверки — своя тревога в Healthchecks.io.

    Что пропускает ночной пинг

    Healthchecks.io получает пинг, когда скрипт бэкапа отработал без ошибки. Две поломки проходят мимо — обе воспроизведены в лаборатории на Kopia 0.23.1.

    Стек переехал из /opt/memos в /opt/notes, а backup.sh остался прежним. Базы по старому пути нет, sqlite3 создаёт там пустую и снимает дамп с неё:

    sudo sqlite3 /opt/memos/data/memos_prod.db ".backup '/opt/memos/data/dump/memos.db'"; echo $?
    # 0
    sudo sqlite3 /opt/memos/data/dump/memos.db "PRAGMA integrity_check"
    # ok
    sudo sqlite3 /opt/memos/data/dump/memos.db "SELECT count(*) FROM memo"
    # Error: in prepare, no such table: memo

    Пустая база — целая, поэтому integrity_check отвечает ok. Пустоту видно только по запросу к данным.

    Вторая поломка — в хранилище. Неизменённый файл в десятом снимке не стоит места: Kopia не отправляет кусок, который по её индексу уже есть в хранилище. Пропал на backup1 файл хранилища — следующий бэкап проходит без ошибки, и новый снимок ссылается на тот же пропавший кусок. В опыте Kopia держала 60 МБ данных в трёх файлах хранилища. Один удалили: snapshot create после этого вернул 0, а из последнего снимка не восстановились 12 файлов из 42.

    Почему по расписанию

    Руками восстанавливаем один раз, когда настраиваем бэкап, — этап «Восстановление — проверяем действием» в «Бэкап, который переживёт сервер». Так проверяется конфиг того дня. Поломки выше приходят позже: стек переехал, приложение обновилось и сменило имя базы, на backup1 сбоит диск.

    Пока пустой дамп никто не видит, правила хранения удаляют старые снимки — те, что сделаны до поломки. В минимальном сценарии рецепта самый старый снимок — месячный, полугодовой давности: через полгода тихой поломки целых снимков не остаётся. Проверка находит поломку не позже чем через один промежуток между запусками — неделю или месяц, — и последний целый снимок к этому времени ещё лежит в хранилище. Пропадёт сервер до проверки — потеряем данные за этот промежуток.

    Частота — по сценарию хранения из рецепта: в минимальном раз в месяц, в обычном и активном раз в неделю.

    Что находит каждый шаг проверки

    Шаги — из backup-verify.sh рецепта, по порядку:

    Шаг Находит Пропускает
    kopia snapshot verify в хранилище нет файла, на который ссылается снимок: is backed by missing blob испорченный файл: он на месте
    тот же verify с --verify-files-percent=5 испорченный файл, если в выборку попало то, что в нём лежит: invalid checksum … message authentication failed остальные 95 % файлов снимка — до следующего раза
    восстановление дампа и PRAGMA integrity_check битую базу пустую базу: она целая
    SELECT count(*) FROM memo в восстановленном дампе пустой дамп: no such table: memo базу, которую приложение бросило: заметки в ней есть, только старые

    Файлы для чтения Kopia выбирает заново при каждом запуске. В опыте с одним испорченным файлом 5 % его пропустили, 100 % нашли. При проверке раз в неделю каждый файл за год прочитан хотя бы раз с вероятностью около 93 %. --verify-files-percent=100 качает всё хранилище — столько же трафика, сколько полное восстановление.

    Где данные меняются каждый день, ловим и брошенную базу: самая свежая запись не старше двух суток. Строка для check() в backup-verify.sh, после count(*):

    test $(( $(date +%s) - $(sqlite3 "$dir/memos.db" 'SELECT max(updated_ts) FROM memo') )) -lt 172800

    Заметки в memos появляются не каждый день, и такая строка давала бы ложные тревоги, поэтому в рецепте только count(*).

    Проверку тоже сторожим

    Проверка, которую выключили при переезде или которая упала раньше пинга, молчит так же, как бэкап. Поэтому скрипт пингует отдельную проверку в Healthchecks.io, web1-verify: Period — 7 дней, в минимальном сценарии 31 день, Grace Time — 1 день. Пинг удачной проверки в web1-backup не годится: он сбросил бы счётчик, и ночь без бэкапа прошла бы незамеченной.

    Чего проверка на сервере не видит

    Сервер подключён к хранилищу и помнит пароль, а в варианте А у него свой ключ SSH. Пропал сервер — нет ни того, ни другого: на новом подключаемся паролем из менеджера паролей. Подходит ли этот пароль, проверка на сервере не узнает. Это показывают учения на временном VPS из «Переезд на новый сервер»: раз в полгода и после смены пароля, хранилища или ключа.

    Если не работает

    Проверка восстановления пишет no such table: memo или В дампе memos нет заметок, а ночной бэкап проходит

    Причина
    backup.sh снимает дамп по пути, где базы уже нет: стек переехал или база сменила имя. sqlite3 создаёт там пустую базу, и дамп выходит пустым без ошибки.
    Делаем
    Каталог базы — том данных в docker-compose.yaml стека, имя файла показывает sudo ls -l этого каталога. Путь пишем в backup.sh, пустой файл по старому пути удаляем. Потом бэкап и проверка заново: sudo systemctl start kopia-backup.service, затем sudo systemctl start kopia-verify.service.

    Проверка восстановления пишет is backed by missing blob

    Причина
    Из хранилища пропал файл. Kopia не отправляет второй раз куски, которые по её индексу уже есть в хранилище, поэтому на пропавший ссылаются и старые снимки, и новые.
    Делаем
    sudo kopia snapshot fix invalid-files --commit заменяет в снимках файлы без данных заглушками: прошлые версии этих файлов потеряны. sudo kopia maintenance run --full --safety=none убирает пропавшие куски из индекса, и следующий бэкап отправит их с сервера заново. --safety=none удаляет сразу, поэтому обе команды — пока бэкап не идёт. Хранилище за kopia server («Kopia server») чиним на backup1: sudo systemctl stop kopia-server, те же команды через sudo -u kopia -H kopia, потом start.

    Проверка восстановления пишет invalid checksum и message authentication failed

    Причина
    Файл в хранилище испорчен: он на месте, но байты в нём другие. Kopia шифрует каждый кусок с меткой подлинности, и испорченный при чтении не расшифровывается.
    Делаем
    Как с пропавшим файлом, только snapshot fix читает всё хранилище: sudo kopia snapshot fix invalid-files --verify-files-percent=100 --commit. Без процентов он испорченного не видит и пишет No changes.

    Как проверить

    Портим дамп нарочно. База memos не тронута, а следующий бэкап снимет дамп заново:

    sudo sqlite3 /opt/memos/data/dump/memos.db "DELETE FROM memo"
    sudo kopia snapshot create /opt
    sudo systemctl start kopia-verify.service

    systemctl пишет Job for kopia-verify.service failed, в ntfy приходит тревога по web1-verify, а в теле последнего пинга на странице проверки — В дампе memos нет заметок. Возвращаем как было:

    sudo systemctl start kopia-backup.service && sudo systemctl start kopia-verify.service

    У web1-verify в Healthchecks.io — up.