Kopia и пароль хранилища
пройденKopia шифрует снимок на сервере, до отправки, ключом из пароля хранилища. Хранилище видит только зашифрованные куски, а место занимают одни изменения: неизменённый файл в десятом снимке не стоит ничего.
| Команда | Что делает |
|---|---|
curl -s https://kopia.io/signing-key | sudo gpg --dearmor -o /etc/apt/keyrings/kopia-keyring.gpg |
ключ, которым подписаны пакеты Kopia |
echo "deb [signed-by=/etc/apt/keyrings/kopia-keyring.gpg] http://packages.kopia.io/apt/ stable main" | sudo tee /etc/apt/sources.list.d/kopia.list |
репозиторий Kopia; http годится: apt проверяет подпись пакетов ключом |
sudo apt update && sudo apt install -y kopia sqlite3 |
Kopia и sqlite3 для дампа базы memos |
sudo install -d -m 700 /srv/secrets/kopia |
каталог секретов бэкапа |
| Команда | Что делает |
|---|---|
openssl rand -base64 24 |
пароль хранилища, 32 знака; печатается один раз — сохраняем в менеджер паролей |
| Команда | Что должно быть |
|---|---|
kopia --version |
0.23.… или новее |
| менеджер паролей | запись с паролем хранилища Kopia |
Хранилище: второй сервер или Google Drive
пройденКопия живёт там, куда не дотянется то, что сломает сервер: у другого хостинга или дома. Выбираем один вариант. А — второй сервер по SFTP: место ограничено только его диском. Б — Google Drive через rclone: второго сервера не нужно, но бесплатные 15 ГБ Диск делит с Gmail и Фото.
Оба варианта переживают удаление сервера и сбой хостинга, а взлом — нет. У сервера есть право удалять
в хранилище, и тот, кто получил на нём root, сотрёт и копии. Хранилище, куда сервер пишет, но стереть
не может, — kopia server на втором сервере: «Kopia server».
Вариант А. На web1 создаём ключ, на backup1 — пользователя kopia. Ключ пускает только в SFTP:
command= в authorized_keys вместо оболочки запускает sftp-server, а restrict закрывает туннели
и терминал.
| Команда | Что делает |
|---|---|
sudo ssh-keygen -t ed25519 -N '' -C kopia@web1 -f /srv/secrets/kopia/id_ed25519 |
ключ без пароля: бэкап идёт ночью, вводить пароль некому |
sudo cat /srv/secrets/kopia/id_ed25519.pub |
открытый ключ — его вписываем на backup1 |
| Команда | Что делает |
|---|---|
sudo adduser --disabled-password --comment '' --home /srv/kopia kopia |
пользователь без пароля, входит только по ключу |
sudo install -d -m 700 -o kopia -g kopia /srv/kopia/.ssh /srv/kopia/web1 |
каталог ключей и каталог хранилища |
sudo install -m 600 -o kopia -g kopia /dev/null /srv/kopia/.ssh/authorized_keys |
пустой authorized_keys сразу с нужными правами |
echo 'restrict,command="/usr/lib/openssh/sftp-server" <ключ>' | sudo tee -a /srv/kopia/.ssh/authorized_keys |
ключ web1 только для SFTP; <ключ> меняем на строку ssh-ed25519 … с web1 |
sudo sed -i 's/^AllowUsers .*/& kopia/' /etc/ssh/sshd_config.d/00-hardening.conf && sudo systemctl reload ssh |
если backup1 настроен по уровню 1: дописывает kopia в AllowUsers |
| Команда | Что делает |
|---|---|
ssh-keyscan 198.51.100.20 | sudo tee /srv/secrets/kopia/known_hosts |
ключи backup1: Kopia сверяет с ними сервер при каждом входе |
sudo kopia repository create sftp --host=198.51.100.20 --username=kopia --keyfile=/srv/secrets/kopia/id_ed25519 --known-hosts=/srv/secrets/kopia/known_hosts --path=/srv/kopia/web1 |
создаёт хранилище и спрашивает пароль дважды — вставляем пароль из этапа 1 |
Вариант Б. rclone получает доступ к Диску с правом drive.file: видит только файлы, которые создал
сам, остальной Диск серверу закрыт. Вход в Google нужен с браузером, поэтому одну команду запускаем на
своём компьютере.
| Команда | Что делает |
|---|---|
sudo apt install -y rclone |
rclone: через него Kopia ходит в Google Drive |
sudo rclone config |
новое подключение — отвечаем на вопросы, как в списке ниже |
Ответы в sudo rclone config: n — новое подключение, имя gdrive, тип drive; client_id
и client_secret — пустые; scope — drive.file; service_account_file — пустой; расширенные
настройки — n; вход через браузер на этой машине — n. rclone печатает команду
rclone authorize "drive" "…": запускаем её на компьютере с браузером, входим в Google, а напечатанный
токен вставляем в ответ серверу. Общий диск — n, сохранить — y, выйти — q.
| Команда | Что делает |
|---|---|
sudo rclone lsd gdrive: |
Диск отвечает; файлов не видно — rclone их ещё не создавал |
sudo kopia repository create rclone --remote-path=gdrive:kopia-web1 |
создаёт хранилище в папке kopia-web1 и спрашивает пароль дважды — вставляем пароль из этапа 1 |
| Команда | Что должно быть |
|---|---|
sudo kopia repository status |
хранилище подключено: web1, root и строка о хранилище — SFTP или rclone |
Что сохраняем: дамп базы и первый снимок
пройденKopia забирает /opt — все стеки вместе с их data/, по профилю сервера — и /srv/secrets. Живой файл
базы memos не берём: скопированный посреди записи, он может не открыться. Вместо него — дамп через
.backup SQLite: целая копия, даже когда memos пишет. Журнал запросов Traefik тоже не берём: он большой,
а восстанавливать из него нечего.
| Команда | Что делает |
|---|---|
sudo kopia policy set --global --compression=zstd |
сжатие: конфиги и дампы ужимаются, картинки и архивы — нет |
sudo kopia policy set /opt --add-ignore 'memos/data/memos_prod.db*' --add-ignore 'traefik/data/logs/' |
без файлов самой базы memos и журнала запросов |
| Команда | Что делает |
|---|---|
sudo install -d -m 700 /opt/memos/data/dump |
каталог дампов рядом с данными memos |
sudo sqlite3 /opt/memos/data/memos_prod.db ".backup '/opt/memos/data/dump/memos.db'" |
дамп базы memos |
sudo kopia snapshot create /opt /srv/secrets |
первый снимок отправляет всё, следующие — только изменения |
| Команда | Что должно быть |
|---|---|
sudo kopia snapshot list --all |
root@web1:/opt и root@web1:/srv/secrets, у каждого — строка снимка с датой |
По расписанию: таймер и пинг
пройденБэкап запускает таймер systemd в 03:00, за час до перезагрузки после обновлений (уровень 1). Скрипт
снимает дамп, делает снимок и пингует Healthchecks.io: /start перед бэкапом, сам адрес после удачи
и /fail с хвостом вывода после ошибки. Ночь без пинга — тоже тревога: значит, таймер не сработал.
В Healthchecks.io — «Add Check»: имя web1-backup, Period — 1 день, Grace Time — 2 часа. Интеграция ntfy
с уровня 4 у новой проверки включена — галочка на странице проверки. Адрес пинга копируем оттуда же.
| Команда | Что делает |
|---|---|
echo '<адрес-пинга>' | sudo tee /srv/secrets/kopia/hc-url > /dev/null |
<адрес-пинга> меняем на адрес вида https://hc-ping.com/… |
sudo chmod 400 /srv/secrets/kopia/hc-url |
только для чтения, только root |
sudo mkdir -p /opt/scripts |
каталог скриптов сервера |
#!/bin/sh
# Бэкап сервера: дампы баз, снимок Kopia, пинг в Healthchecks.io. Запускает kopia-backup.timer
set -u
ping=$(cat /srv/secrets/kopia/hc-url)
curl -fsS -m 10 --retry 3 -o /dev/null "$ping/start"
run() {
# Дамп SQLite через .backup — целая копия и на ходу; файл базы, скопированный во время записи, бывает битым.
# База PostgreSQL — так же строкой: docker exec <стек>-db pg_dump -U <пользователь> <база> > /opt/<стек>/data/dump/<база>.sql
install -d -m 700 /opt/memos/data/dump &&
sqlite3 /opt/memos/data/memos_prod.db ".backup '/opt/memos/data/dump/memos.db'" &&
kopia snapshot create /opt /srv/secrets
}
if out=$(run 2>&1); then
curl -fsS -m 10 --retry 3 -o /dev/null "$ping"
else
printf '%s\n' "$out" >&2
printf '%s\n' "$out" | tail -c 10000 | curl -fsS -m 10 --retry 3 -o /dev/null --data-binary @- "$ping/fail"
exit 1
fi
Служба с базой PostgreSQL добавляется строкой в run(): pg_dump пишет дамп в data/dump/ стека, а файлы
самой базы — в --add-ignore, как у memos.
[Unit]
Description=Бэкап сервера в Kopia
Wants=network-online.target
After=network-online.target
[Service]
Type=oneshot
ExecStart=/opt/scripts/backup.sh
# Kopia и rclone ищут настройки в ~/.config: без User= systemd не задаёт HOME
Environment=HOME=/root
Nice=10
IOSchedulingClass=idle
[Unit]
Description=Бэкап сервера по расписанию
[Timer]
OnCalendar=*-*-* 03:00
Persistent=true
[Install]
WantedBy=timers.target
Persistent=true догоняет пропуск: сервер был выключен в 03:00 — бэкап пойдёт сразу после загрузки.
| Команда | Что делает |
|---|---|
sudo chmod 700 /opt/scripts/backup.sh |
скрипт запускается, читает его только root |
sudo systemctl daemon-reload && sudo systemctl enable --now kopia-backup.timer |
таймер включён и переживёт перезагрузку |
Сколько снимков хранить, решает то, как живут данные. Снимок остаётся, если подходит хоть под одно правило: в минимальном сценарии через полгода лежат последние 7 дней, 4 недели и 6 месяцев. Выбираем одну строку и одну команду ниже.
| Сценарий | Когда подходит | Снимок | Хранит | Проверка восстановления |
|---|---|---|---|---|
| Минимальный | сервисы настроили и почти не трогаем: сломалось через месяц — поднимаем снимок месячной давности | раз в сутки | 7 дневных, 4 недельных, 6 месячных | раз в месяц |
| Обычный | данными пользуемся каждый день, потерять день неприятно | раз в сутки | 14 дневных, 8 недельных, 12 месячных | раз в неделю |
| Активный | данные меняются весь день, потерять даже несколько часов дорого | каждый час | 48 часовых, 30 дневных, 12 недельных, 12 месячных | раз в неделю |
| Команда | Что делает |
|---|---|
sudo kopia policy set --global --keep-latest 7 --keep-hourly 0 --keep-daily 7 --keep-weekly 4 --keep-monthly 6 --keep-annual 0 |
сколько снимков хранить |
| Команда | Что делает |
|---|---|
sudo kopia policy set --global --keep-latest 14 --keep-hourly 0 --keep-daily 14 --keep-weekly 8 --keep-monthly 12 --keep-annual 0 |
сколько снимков хранить |
| Команда | Что делает |
|---|---|
sudo kopia policy set --global --keep-latest 48 --keep-hourly 48 --keep-daily 30 --keep-weekly 12 --keep-monthly 12 --keep-annual 0 |
сколько снимков хранить |
sudo sed -i 's/^OnCalendar=.*/OnCalendar=hourly/' /etc/systemd/system/kopia-backup.timer |
бэкап каждый час |
sudo systemctl daemon-reload && sudo systemctl restart kopia-backup.timer |
таймер с новым расписанием |
В активном сценарии у проверки web1-backup в Healthchecks.io ставим Period — 1 час, Grace Time —
30 минут. Лишние снимки Kopia удаляет сама после каждого бэкапа, а место под ними освобождает плановое
обслуживание хранилища — его Kopia тоже запускает сама.
| Команда | Что делает |
|---|---|
sudo systemctl start kopia-backup.service |
бэкап сейчас, не дожидаясь ночи |
| Команда | Что должно быть |
|---|---|
systemctl list-timers kopia-backup.timer |
в NEXT — ближайшие 03:00: так стоит в OnCalendar таймера; в активном сценарии — начало следующего часа |
sudo journalctl -u kopia-backup.service -n 3 |
Finished kopia-backup.service, без Failed |
Healthchecks.io, проверка web1-backup |
up, последний пинг — только что |
Бэкап, из которого ни разу не восстанавливали, может оказаться пустым из-за одной опечатки в пути. Поэтому удаляем заметку и возвращаем её из хранилища. Потом то же самое — по расписанию, без нас.
В memos создаём заметку «Проверка бэкапа», запускаем бэкап командой из этапа 4 и удаляем заметку.
| Команда | Что делает |
|---|---|
cd /opt/memos && sudo docker compose stop |
останавливает memos: базу не меняют на ходу |
sudo kopia snapshot restore /opt/memos/data/dump /tmp/memos-restore |
дамп из последнего снимка — во временный каталог |
sudo cp /tmp/memos-restore/memos.db data/memos_prod.db |
восстановленная база на место живой |
sudo rm -f data/memos_prod.db-wal data/memos_prod.db-shm |
журнал старой базы: SQLite применил бы его к восстановленной |
sudo docker compose start && sudo rm -r /tmp/memos-restore |
запускает memos и убирает временный каталог |
Заметка «Проверка бэкапа» снова на месте. Скрипт проверки делает то же без остановки memos: скачивает 5 %
файлов из хранилища, восстанавливает дамп во временный каталог и спрашивает SQLite, цела ли база и есть ли
в ней заметки. Пустая база тоже целая: такой дамп выходит, если backup.sh смотрит на старый путь к базе
(«Бэкап проверяем восстановлением по таймеру»).
Скрипт пингует отдельную проверку в Healthchecks.io: пинг в web1-backup сбросил бы её счётчик, и пропуск
ночного бэкапа остался бы незамеченным. «Add Check»: имя web1-verify, Period — 7 дней, Grace Time — 1 день.
| Команда | Что делает |
|---|---|
echo '<адрес-пинга>' | sudo tee /srv/secrets/kopia/hc-verify-url > /dev/null |
<адрес-пинга> — адрес проверки web1-verify |
sudo chmod 400 /srv/secrets/kopia/hc-verify-url |
только для чтения, только root |
#!/bin/sh
# Проверка бэкапа: часть файлов скачиваем из хранилища, базу memos восстанавливаем и проверяем. Запускает kopia-verify.timer
set -u
# Своя проверка web1-verify в Healthchecks.io: пинг в web1-backup сбросил бы её счётчик, и пропуск ночного бэкапа
# остался бы незамеченным
ping=$(cat /srv/secrets/kopia/hc-verify-url)
curl -fsS -m 10 --retry 3 -o /dev/null "$ping/start"
dir=$(mktemp -d)
trap 'rm -rf "$dir"' EXIT
# Целая база ещё не значит, что в ней данные: дамп базы, которой нет по пути из backup.sh, — пустая база,
# и integrity_check отвечает ok
check() {
kopia snapshot verify --verify-files-percent=5 &&
kopia snapshot restore /opt/memos/data/dump "$dir" &&
test "$(sqlite3 "$dir/memos.db" 'PRAGMA integrity_check')" = ok &&
notes=$(sqlite3 "$dir/memos.db" 'SELECT count(*) FROM memo') &&
{ [ "$notes" -gt 0 ] || { echo 'В дампе memos нет заметок'; false; }; }
}
if out=$(check 2>&1); then
curl -fsS -m 10 --retry 3 -o /dev/null "$ping"
else
printf '%s\n' "$out" >&2
printf '%s\n' "$out" | tail -c 10000 | curl -fsS -m 10 --retry 3 -o /dev/null --data-binary @- "$ping/fail"
exit 1
fi
[Unit]
Description=Проверка восстановления из Kopia
Wants=network-online.target
After=network-online.target
[Service]
Type=oneshot
ExecStart=/opt/scripts/backup-verify.sh
Environment=HOME=/root
Nice=10
IOSchedulingClass=idle
[Unit]
Description=Проверка восстановления по расписанию
[Timer]
OnCalendar=Sun *-*-* 05:30
Persistent=true
[Install]
WantedBy=timers.target
| Команда | Что делает |
|---|---|
sudo chmod 700 /opt/scripts/backup-verify.sh |
скрипт запускается, читает его только root |
sudo systemctl daemon-reload && sudo systemctl enable --now kopia-verify.timer |
проверка раз в неделю |
sudo systemctl start kopia-verify.service |
проверка сейчас; занимает минуты — файлы качаются из хранилища |
В минимальном сценарии проверка раз в месяц: в kopia-verify.timer ставим OnCalendar=*-*-01 05:30
и снова daemon-reload с restart kopia-verify.timer, а у web1-verify — Period 31 день.
Пропал сам сервер — поднимаем новый по уровню 1 с тем же именем web1 и ставим Kopia командами этапа 1.
Подключаемся к хранилищу паролем из менеджера паролей. В варианте А у нового сервера свой ключ: создаём
его и known_hosts как в этапе 2 и вписываем ключ на backup1 вместо старого. В варианте Б заново проходим
sudo rclone config.
| Команда | Что делает |
|---|---|
sudo kopia repository connect sftp --host=198.51.100.20 --username=kopia --keyfile=/srv/secrets/kopia/id_ed25519 --known-hosts=/srv/secrets/kopia/known_hosts --path=/srv/kopia/web1 |
вариант А: подключение к хранилищу на backup1, спрашивает пароль |
sudo kopia repository connect rclone --remote-path=gdrive:kopia-web1 |
вариант Б: подключение к хранилищу в Google Drive, спрашивает пароль |
sudo kopia snapshot restore --skip-existing /srv/secrets /srv/secrets |
секреты — на место; --skip-existing не трогает новый ключ: старый на backup1 уже не пускают |
sudo kopia snapshot restore /opt /opt |
стеки с их данными и дампами |
sudo cp /opt/memos/data/dump/memos.db /opt/memos/data/memos_prod.db |
база memos из дампа |
Дальше стеки поднимаем, как на уровнях 2–4: сеть proxy, потом traefik, потом остальные —
cd /opt/<стек> && sudo docker compose up -d. Основу и стеки одной командой каждую поднимает рецепт
уровня 6 «Переезд на новый сервер».
| Команда | Что должно быть |
|---|---|
| memos в браузере | заметка «Проверка бэкапа» на месте |
systemctl list-timers 'kopia-*' |
два таймера, у обоих заполнен NEXT |
sudo journalctl -u kopia-verify.service -n 3 |
Finished kopia-verify.service, без Failed |
Healthchecks.io, проверка web1-verify |
up, последний пинг — только что |
Если не работает
apt update пишет NO_PUBKEY или is not signed про packages.kopia.io
- Причина
- Ключ не записался:
curlне скачал его, иgpgсохранил пустой файл. - Делаем
ls -l /etc/apt/keyrings/kopia-keyring.gpg— размер больше нуля. Ноль — повторяем первую команду этапа.
Вариант А: kopia repository create sftp пишет unable to authenticate
- Причина
- backup1 не пускает пользователя
kopia: ключа нет вauthorized_keys, у.sshне те права или пользователь не вписан вAllowUsers. - Делаем
- Причину пишет журнал на backup1:
sudo grep kopia /var/log/auth.log | tail -5. Строкаnot listed in AllowUsers— пропущена команда сAllowUsers.
Вариант А: ошибка knownhosts: key is unknown
- Причина
- В
known_hostsзаписан другой адрес: в--hostстоит имя, аssh-keyscanспрашивали по адресу, или наоборот. - Делаем
- В
--hostи вssh-keyscanпишем одно и то же,198.51.100.20, и снова записываемknown_hosts.
Вариант Б: kopia repository create rclone пишет executable file not found
- Причина
- Kopia запускает rclone сама, а его нет на сервере.
- Делаем
sudo apt install -y rclone, потомsudo rclone configиз этапа 2.
Вариант Б: бэкап идёт медленно, в журнале rateLimitExceeded
- Причина
- rclone ходит в Google Drive со своим общим
client_id, и лимит запросов на нём делят все, кто его не поменял. - Делаем
- Создаём свой
client_idпо разделу Making your own client_id в документации rclone о Google Drive и вписываем его вsudo rclone config.
sqlite3 пишет unable to open database
- Причина
- База memos лежит под другим именем: так бывает, если в compose задан
MEMOS_DSNили включён демо-режим. - Делаем
sudo ls /opt/memos/dataпоказывает имя файла*.db. Его же пишем в команду дампа, в правило--add-ignoreи вbackup.sh.
sudo kopia snapshot create руками работает, а из таймера — ошибка, что хранилище не подключено
- Причина
- Служба запущена без
HOME: Kopia ищет настройки в~/.config/kopiaи не находит. - Делаем
systemctl show kopia-backup.service -p Environment— должно бытьHOME=/root. Нет — сверяем файл службы с этапом 4 иsudo systemctl daemon-reload.
Проверка web1-backup в Healthchecks.io висит в new
- Причина
- Пинг не уходит: в
hc-urlлишний пробел, кавычка или другой адрес. - Делаем
sudo sh -c 'curl -fsS "$(cat /srv/secrets/kopia/hc-url)"'печатаетOK. Ошибка — записываем адрес заново, как в этапе 4.
После восстановления memos пишет database disk image is malformed или показывает не те заметки
- Причина
- Рядом с восстановленной базой остались
memos_prod.db-walи-shmот старой: SQLite применил журнал старой базы к новой. - Делаем
- Повторяем восстановление: memos остановлен,
memos.dbскопирован заново, оба файла журнала удалены, потомstart.
На новом сервере kopia snapshot restore /opt пишет, что снимков нет
- Причина
- Kopia ищет снимки по имени пользователя и сервера, а у нового сервера другое имя.
- Делаем
sudo kopia snapshot list --allпоказывает, под каким именем лежат снимки. Подключаемся заново с--override-hostname=web1или ставим имяsudo hostnamectl set-hostname web1.
Как убрать
sudo systemctl disable --now kopia-backup.timer kopia-verify.timer
sudo rm /etc/systemd/system/kopia-*.service /etc/systemd/system/kopia-*.timer
sudo rm /opt/scripts/backup.sh /opt/scripts/backup-verify.sh
sudo systemctl daemon-reload
sudo kopia repository disconnect
sudo rm -r /srv/secrets/kopia /opt/memos/data/dump
Хранилище остаётся, где было: на backup1 его убирает sudo deluser --remove-home kopia, в Google Drive —
папка kopia-web1. Проверки web1-backup и web1-verify в Healthchecks.io удаляем там же, иначе они пришлют down.