Что пропускает ночной пинг
Healthchecks.io получает пинг, когда скрипт бэкапа отработал без ошибки. Две поломки проходят мимо — обе воспроизведены в лаборатории на Kopia 0.23.1.
Стек переехал из /opt/memos в /opt/notes, а backup.sh остался прежним. Базы по старому пути нет,
sqlite3 создаёт там пустую и снимает дамп с неё:
sudo sqlite3 /opt/memos/data/memos_prod.db ".backup '/opt/memos/data/dump/memos.db'"; echo $?
# 0
sudo sqlite3 /opt/memos/data/dump/memos.db "PRAGMA integrity_check"
# ok
sudo sqlite3 /opt/memos/data/dump/memos.db "SELECT count(*) FROM memo"
# Error: in prepare, no such table: memo
Пустая база — целая, поэтому integrity_check отвечает ok. Пустоту видно только по запросу к данным.
Вторая поломка — в хранилище. Неизменённый файл в десятом снимке не стоит места: Kopia не отправляет кусок,
который по её индексу уже есть в хранилище. Пропал на backup1 файл хранилища — следующий бэкап проходит
без ошибки, и новый снимок ссылается на тот же пропавший кусок. В опыте Kopia держала 60 МБ данных в трёх
файлах хранилища. Один удалили: snapshot create после этого вернул 0, а из последнего снимка не восстановились
12 файлов из 42.
Почему по расписанию
Руками восстанавливаем один раз, когда настраиваем бэкап, — этап «Восстановление — проверяем действием» в «Бэкап, который переживёт сервер». Так проверяется конфиг того дня. Поломки выше приходят позже: стек переехал, приложение обновилось и сменило имя базы, на backup1 сбоит диск.
Пока пустой дамп никто не видит, правила хранения удаляют старые снимки — те, что сделаны до поломки. В минимальном сценарии рецепта самый старый снимок — месячный, полугодовой давности: через полгода тихой поломки целых снимков не остаётся. Проверка находит поломку не позже чем через один промежуток между запусками — неделю или месяц, — и последний целый снимок к этому времени ещё лежит в хранилище. Пропадёт сервер до проверки — потеряем данные за этот промежуток.
Частота — по сценарию хранения из рецепта: в минимальном раз в месяц, в обычном и активном раз в неделю.
Что находит каждый шаг проверки
Шаги — из backup-verify.sh рецепта, по порядку:
| Шаг | Находит | Пропускает |
|---|---|---|
kopia snapshot verify |
в хранилище нет файла, на который ссылается снимок: is backed by missing blob |
испорченный файл: он на месте |
тот же verify с --verify-files-percent=5 |
испорченный файл, если в выборку попало то, что в нём лежит: invalid checksum … message authentication failed |
остальные 95 % файлов снимка — до следующего раза |
восстановление дампа и PRAGMA integrity_check |
битую базу | пустую базу: она целая |
SELECT count(*) FROM memo в восстановленном дампе |
пустой дамп: no such table: memo |
базу, которую приложение бросило: заметки в ней есть, только старые |
Файлы для чтения Kopia выбирает заново при каждом запуске. В опыте с одним испорченным файлом 5 % его пропустили,
100 % нашли. При проверке раз в неделю каждый файл за год прочитан хотя бы раз с вероятностью около 93 %.
--verify-files-percent=100 качает всё хранилище — столько же трафика, сколько полное восстановление.
Где данные меняются каждый день, ловим и брошенную базу: самая свежая запись не старше двух суток. Строка
для check() в backup-verify.sh, после count(*):
test $(( $(date +%s) - $(sqlite3 "$dir/memos.db" 'SELECT max(updated_ts) FROM memo') )) -lt 172800
Заметки в memos появляются не каждый день, и такая строка давала бы ложные тревоги, поэтому в рецепте
только count(*).
Проверку тоже сторожим
Проверка, которую выключили при переезде или которая упала раньше пинга, молчит так же, как бэкап. Поэтому
скрипт пингует отдельную проверку в Healthchecks.io, web1-verify: Period — 7 дней, в минимальном сценарии
31 день, Grace Time — 1 день. Пинг удачной проверки в web1-backup не годится: он сбросил бы счётчик,
и ночь без бэкапа прошла бы незамеченной.
Чего проверка на сервере не видит
Сервер подключён к хранилищу и помнит пароль, а в варианте А у него свой ключ SSH. Пропал сервер — нет ни того, ни другого: на новом подключаемся паролем из менеджера паролей. Подходит ли этот пароль, проверка на сервере не узнает. Это показывают учения на временном VPS из «Переезд на новый сервер»: раз в полгода и после смены пароля, хранилища или ключа.
Если не работает
Проверка восстановления пишет no such table: memo или В дампе memos нет заметок, а ночной бэкап проходит
- Причина
backup.shснимает дамп по пути, где базы уже нет: стек переехал или база сменила имя.sqlite3создаёт там пустую базу, и дамп выходит пустым без ошибки.- Делаем
- Каталог базы — том данных в
docker-compose.yamlстека, имя файла показываетsudo ls -lэтого каталога. Путь пишем вbackup.sh, пустой файл по старому пути удаляем. Потом бэкап и проверка заново:sudo systemctl start kopia-backup.service, затемsudo systemctl start kopia-verify.service.
Проверка восстановления пишет is backed by missing blob
- Причина
- Из хранилища пропал файл. Kopia не отправляет второй раз куски, которые по её индексу уже есть в хранилище, поэтому на пропавший ссылаются и старые снимки, и новые.
- Делаем
sudo kopia snapshot fix invalid-files --commitзаменяет в снимках файлы без данных заглушками: прошлые версии этих файлов потеряны.sudo kopia maintenance run --full --safety=noneубирает пропавшие куски из индекса, и следующий бэкап отправит их с сервера заново.--safety=noneудаляет сразу, поэтому обе команды — пока бэкап не идёт. Хранилище заkopia server(«Kopia server») чиним на backup1:sudo systemctl stop kopia-server, те же команды черезsudo -u kopia -H kopia, потомstart.
Проверка восстановления пишет invalid checksum и message authentication failed
- Причина
- Файл в хранилище испорчен: он на месте, но байты в нём другие. Kopia шифрует каждый кусок с меткой подлинности, и испорченный при чтении не расшифровывается.
- Делаем
- Как с пропавшим файлом, только
snapshot fixчитает всё хранилище:sudo kopia snapshot fix invalid-files --verify-files-percent=100 --commit. Без процентов он испорченного не видит и пишетNo changes.
Как проверить
Портим дамп нарочно. База memos не тронута, а следующий бэкап снимет дамп заново:
sudo sqlite3 /opt/memos/data/dump/memos.db "DELETE FROM memo"
sudo kopia snapshot create /opt
sudo systemctl start kopia-verify.service
systemctl пишет Job for kopia-verify.service failed, в ntfy приходит тревога по web1-verify, а в теле
последнего пинга на странице проверки — В дампе memos нет заметок. Возвращаем как было:
sudo systemctl start kopia-backup.service && sudo systemctl start kopia-verify.service
У web1-verify в Healthchecks.io — up.