Что выйдет, если скопировать файлы базы на ходу
Бэкап читает файл кусками, и на большой базе это секунды. Всё это время база переписывает в файле страницы: в копию попадает часть страниц до записи и часть после. Такого состояния у базы не было ни в один момент, и прочитать такую копию целиком база уже не может.
Опыт: SQLite в режиме WAL, как у memos, база 45 МБ, приложение пишет без пауз. Kopia делает снимок каталога с базой, это занимает около 2 с. Из 10 снимков все 10 восстановились битыми. При этом битая копия выглядит живой:
sqlite3 app.db "SELECT count(*) FROM note"
# 20054
sqlite3 app.db "SELECT sum(length(body)) FROM note"
# Error: stepping, database disk image is malformed (11)
Пока запрос не задел испорченные страницы, база отвечает. Падает чтение всей таблицы, удаление, а в приложении — первый же запрос, которому нужны эти данные. Узнаём об этом, когда восстанавливаем.
Целой копия файлов выходит случайно. Обычный cp копирует ту же базу быстрее, и в опыте все 30 копий вышли
целыми; тот же cp со скоростью 20 МБ/с — все 30 битыми. Приложение, которое пишет редко, попадает
удачно чаще, но какой снимок битый, всё равно видно только при восстановлении.
Дамп — копия на один момент
Дамп делает сама база: читает данные на один момент и пишет их в отдельный файл. Приложение тем временем пишет
дальше, но его запись в дамп уже не попадает. У SQLite это .backup:
sqlite3 /opt/memos/data/memos_prod.db ".backup '/opt/memos/data/dump/memos.db'"
В том же опыте 30 дампов через .backup под той же записью — все 30 целые.
Сначала дамп, потом снимок: файл дампа уже не меняется, и бэкап копирует его целым. Файлы самой базы из бэкапа
исключаем — у Kopia --add-ignore 'memos/data/memos_prod.db*', звёздочка забирает и -wal, и -shm.
Восстановить из них нельзя, а -wal, оставленный рядом с восстановленной базой, её испортит. Так устроен
backup.sh в рецепте «Бэкап, который переживёт сервер».
Чем снимают дамп другие базы
| База | Дамп | Что учесть |
|---|---|---|
| SQLite | sqlite3 app.db ".backup 'dump.db'" |
дамп — тоже база SQLite, открывается как есть |
| PostgreSQL | docker exec db pg_dump -U app app > app.sql |
pg_dump читает базу в одной транзакции; восстанавливаем в пустую базу: createdb, потом psql -d <база> < app.sql |
| MariaDB | docker exec db sh -c 'exec mariadb-dump -u root -p"$MARIADB_ROOT_PASSWORD" --single-transaction app' > app.sql |
--single-transaction даёт копию на один момент для таблиц InnoDB; пароль — не в аргументах («Пароль — не в аргументах команды») |
Файлы остановленной базы копировать можно: docker compose stop, копия, docker compose start. Сервис на это
время лежит, поэтому каждую ночь так не делаем.
Если не работает
Базу восстановили из бэкапа: она открывается, а часть запросов падает с database disk image is malformed
- Причина
- В бэкап попали файлы работающей базы: бэкап читал их, пока база в них писала.
- Делаем
- Восстанавливаем из дампа, если он есть в том же снимке. Дальше — дамп перед каждым снимком, а файлы базы — в исключения бэкапа, как в «Бэкап, который переживёт сервер».
Как проверить
Дамп цел — спрашиваем саму базу:
sqlite3 /opt/memos/data/dump/memos.db "PRAGMA integrity_check"
# ok
На битой копии вместо ok — список ошибок вида Tree 4 page 11226 cell 31: Rowid 26329 out of order.