basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Бэкап базы — дамп, а не копия файлов

    Файлы работающей базы бэкап читает по кускам, пока база в них пишет, и копия выходит битой. Дамп делает сама база — целую копию на один момент, даже когда приложение пишет. В бэкап кладём дамп, а файлы самой базы исключаем.

    Что выйдет, если скопировать файлы базы на ходу

    Бэкап читает файл кусками, и на большой базе это секунды. Всё это время база переписывает в файле страницы: в копию попадает часть страниц до записи и часть после. Такого состояния у базы не было ни в один момент, и прочитать такую копию целиком база уже не может.

    Опыт: SQLite в режиме WAL, как у memos, база 45 МБ, приложение пишет без пауз. Kopia делает снимок каталога с базой, это занимает около 2 с. Из 10 снимков все 10 восстановились битыми. При этом битая копия выглядит живой:

    sqlite3 app.db "SELECT count(*) FROM note"
    # 20054
    sqlite3 app.db "SELECT sum(length(body)) FROM note"
    # Error: stepping, database disk image is malformed (11)

    Пока запрос не задел испорченные страницы, база отвечает. Падает чтение всей таблицы, удаление, а в приложении — первый же запрос, которому нужны эти данные. Узнаём об этом, когда восстанавливаем.

    Целой копия файлов выходит случайно. Обычный cp копирует ту же базу быстрее, и в опыте все 30 копий вышли целыми; тот же cp со скоростью 20 МБ/с — все 30 битыми. Приложение, которое пишет редко, попадает удачно чаще, но какой снимок битый, всё равно видно только при восстановлении.

    Дамп — копия на один момент

    Дамп делает сама база: читает данные на один момент и пишет их в отдельный файл. Приложение тем временем пишет дальше, но его запись в дамп уже не попадает. У SQLite это .backup:

    sqlite3 /opt/memos/data/memos_prod.db ".backup '/opt/memos/data/dump/memos.db'"

    В том же опыте 30 дампов через .backup под той же записью — все 30 целые.

    Сначала дамп, потом снимок: файл дампа уже не меняется, и бэкап копирует его целым. Файлы самой базы из бэкапа исключаем — у Kopia --add-ignore 'memos/data/memos_prod.db*', звёздочка забирает и -wal, и -shm. Восстановить из них нельзя, а -wal, оставленный рядом с восстановленной базой, её испортит. Так устроен backup.sh в рецепте «Бэкап, который переживёт сервер».

    Чем снимают дамп другие базы

    База Дамп Что учесть
    SQLite sqlite3 app.db ".backup 'dump.db'" дамп — тоже база SQLite, открывается как есть
    PostgreSQL docker exec db pg_dump -U app app > app.sql pg_dump читает базу в одной транзакции; восстанавливаем в пустую базу: createdb, потом psql -d <база> < app.sql
    MariaDB docker exec db sh -c 'exec mariadb-dump -u root -p"$MARIADB_ROOT_PASSWORD" --single-transaction app' > app.sql --single-transaction даёт копию на один момент для таблиц InnoDB; пароль — не в аргументах («Пароль — не в аргументах команды»)

    Файлы остановленной базы копировать можно: docker compose stop, копия, docker compose start. Сервис на это время лежит, поэтому каждую ночь так не делаем.

    Если не работает

    Базу восстановили из бэкапа: она открывается, а часть запросов падает с database disk image is malformed

    Причина
    В бэкап попали файлы работающей базы: бэкап читал их, пока база в них писала.
    Делаем
    Восстанавливаем из дампа, если он есть в том же снимке. Дальше — дамп перед каждым снимком, а файлы базы — в исключения бэкапа, как в «Бэкап, который переживёт сервер».

    Как проверить

    Дамп цел — спрашиваем саму базу:

    sqlite3 /opt/memos/data/dump/memos.db "PRAGMA integrity_check"
    # ok

    На битой копии вместо ok — список ошибок вида Tree 4 page 11226 cell 31: Rowid 26329 out of order.