basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Переезд на новый сервер

    Всё, что настроено на уровнях 1–5, записываем в git: /opt становится репозиторием, системные файлы ложатся в /opt/host. На пустом VPS у любого хостера один скрипт поднимает основу сервера, второй — стеки из бэкапа Kopia: все, несколько или один. Проверяем учениями на временном VPS, а когда пора — переезжаем.

    Начинаем ссервера после уровня 5 «Резервирование»: Kopia каждую ночь снимает /opt и /srv/secrets, пароль хранилища — в менеджере паролей.

    Что получится

    git (GitHub, приватный infra-web1)   конфиги и скелет: compose, traefik.yml, Gatus, скрипты, /opt/host
    бэкап Kopia                    то же и тело: data/ стеков, .env, acme.json, /srv/secrets
    
    пустой VPS ── git clone ──▶ /opt ── bootstrap.sh ──▶ основа уровней 1–5: пользователь, SSH, ufw,
                                                         обновления, подкачка, журнал, Docker, bouncer, Kopia
                                Kopia ── restore.sh ──▶ все стеки, несколько или один — с данными
    учения: curl --resolve на новый адрес, VPS удаляем   переезд: DNS на новый адрес, таймеры бэкапа
    • ПонадобитсяАккаунт GitHub: в нём будет приватный репозиторий сервера
    • ПонадобитсяПустой VPS с Ubuntu 24.04 или 26.04 и входом под root — для учений, потом для переезда; ниже его адрес 203.0.113.20
    • ПонадобитсяПароль хранилища Kopia из менеджера паролей и доступ к хранилищу: SSH на backup1 (вариант А уровня 5) или компьютер с браузером для rclone (вариант Б)
    • ПонадобитсяДоступ к DNS домена — для переезда

    Свои значения

    Подставляются в команды и файлы этого и других рецептов пути; хранятся только в этом браузере.
    Домен
    example.orgусловное
    Пользователь
    example-userусловное
    Имя сервера
    web1условное
    Адрес сервера бэкапов
    198.51.100.20условное

    Без скрипта в командах — условные значения: меняем их на свои.

    Шаги

    Тот же рецепт коротко: команды — из этапов, файлы — строкой. Для второго сервера и для тех, кто уже знает, что делает каждая команда.

    /opt в git: белый список

    Почему так — «Конфиги серверов в git»

    /opt становится git-репозиторием: в git уходят compose-файлы, конфиги и скрипты — скелет сервера. Данные, .env, acme.json и /srv/secrets остаются в бэкапе Kopia: он хранит и скелет, и тело. Команды этого этапа и двух следующих — на старом сервере.

    Репозиторий
    Команда Что делает
    sudo git -C /opt init -b main /opt — репозиторий, ветка main
    printf '* text=auto eol=lf\n' | sudo tee /opt/.gitattributes переводы строк — как в Linux, даже после правки на Windows
    /opt/.gitignoreбелый список: запрещено всё, разрешено поимённо — стеки пути по профилю сервера
    # Белый список: в git только то, что разрешено поимённо. Порядок важен — побеждает последнее подходящее правило
    /*
    !/.gitignore
    !/.gitattributes
    !/host/
    !/scripts/
    
    # Секреты и базы — нигде, на любой глубине
    .env
    *.db
    *.db-*
    *.pem
    *.key
    acme.json
    id_ed25519*
    
    # Стек: каталог разрешён, внутри — только перечисленное
    !/traefik/
    /traefik/*
    !/traefik/docker-compose.yaml
    !/traefik/data/
    /traefik/data/*
    !/traefik/data/traefik.yml
    !/traefik/data/dynamic/
    
    !/crowdsec/
    /crowdsec/*
    !/crowdsec/docker-compose.yaml
    !/crowdsec/data/
    /crowdsec/data/*
    !/crowdsec/data/config/
    /crowdsec/data/config/*
    !/crowdsec/data/config/acquis.d/
    !/crowdsec/data/config/profiles.yaml
    
    !/whoami/
    /whoami/*
    !/whoami/docker-compose.yaml
    
    !/memos/
    /memos/*
    !/memos/docker-compose.yaml
    
    !/beszel/
    /beszel/*
    !/beszel/docker-compose.yaml
    !/beszel/.env.example
    
    !/gatus/
    /gatus/*
    !/gatus/docker-compose.yaml
    !/gatus/.env.example
    !/gatus/config/

    Свой стек вне пути — блок из трёх строк и нужных файлов, как у memos.

    Имена переменных без значений
    Команда Что делает
    for e in /opt/*/.env; do sudo sed -nE 's/^([A-Za-z_][A-Za-z0-9_]*)=.*/\1=/p' "$e" | sudo tee "$e.example" > /dev/null; done рядом с каждым .env — .env.example только с именами: по нему видно, что вписать
    sudo git -C /opt add --dry-run . что попадёт в git — читаем список глазами
    Готово, если
    Команда Что должно быть
    sudo git -C /opt add --dry-run . | grep -E '\.env$|acme|\.db|id_ed25519|/data/' пусто, кроме crowdsec/data/config/… и traefik/data/traefik.yml, traefik/data/dynamic/…
    sudo git -C /opt add --dry-run . | grep -c docker-compose.yaml по числу стеков: sudo docker compose ls -a показывает столько же
    Не так — «Если не работает», случаи этапа .

    Системные файлы и скрипты — в /opt/host

    Основа уровней 1–5 живёт вне /opt: SSH, автообновления, журнал, подкачка, daemon.json, службы Kopia. Копируем эти файлы в /opt/host/etc/ с теми же путями: так их забирают и git, и бэкап. Рядом — открытые ключи, с которыми входим, и два скрипта: bootstrap.sh собирает из этого основу на пустом сервере, restore.sh возвращает стеки.

    Файлы основы
    Команда Что делает
    cd / && sudo cp --parents etc/ssh/sshd_config.d/00-hardening.conf etc/apt/apt.conf.d/52unattended-upgrades-local etc/systemd/journald.conf.d/00-size.conf etc/sysctl.d/99-swappiness.conf etc/docker/daemon.json etc/systemd/system/kopia-* /opt/host/ системные файлы уровней 1 и 5 — в /opt/host/etc/… с тем же путём
    sudo cp ~/.ssh/authorized_keys /opt/host/authorized_keys открытые ключи, с которыми входим: открытый ключ не секрет

    Правим системный файл — правим и его копию в /opt/host/etc/, иначе новый сервер получит старый вариант.

    /opt/host/bootstrap.shоснова уровней 1–5 на пустой Ubuntu; имя сервера — первым аргументом
    #!/bin/bash
    # Основа сервера по уровням 1–5 пути на пустой Ubuntu: имя, пользователь, SSH, фаервол, обновления, подкачка, журнал,
    # Docker, bouncer CrowdSec, Kopia. Запуск — под root: bash /opt/host/bootstrap.sh [имя]. Повторный запуск ничего не ломает
    set -eu
    
    name=${1:-web1}          # другое имя — для второго сервера: bash /opt/host/bootstrap.sh web2
    user=example-user
    zone=Europe/Berlin
    host=$(cd "$(dirname "$0")" && pwd)
    
    [ "$(id -u)" -eq 0 ] || { echo 'Запускаем под root' >&2; exit 1; }
    # Пароль root и вход root по SSH скрипт закрывает: без ключа пользователя на сервер будет не войти
    [ -s "$host/authorized_keys" ] || { echo "Нет $host/authorized_keys" >&2; exit 1; }
    
    export DEBIAN_FRONTEND=noninteractive
    
    # По часовому поясу наступает 4:00 ночной перезагрузки
    hostnamectl set-hostname "$name"
    sed -i '/^127\.0\.1\.1[[:space:]]/d' /etc/hosts
    echo "127.0.1.1 $name" >> /etc/hosts
    timedatectl set-timezone "$zone"
    
    apt-get update
    apt-get full-upgrade -y
    apt-get install -y ca-certificates curl gnupg sqlite3
    
    if ! id "$user" >/dev/null 2>&1; then
      adduser --disabled-password --comment '' "$user"
      usermod -aG sudo "$user"
      passwd "$user"         # пароль для sudo и консоли провайдера — в менеджер паролей
    fi
    install -d -m 700 -o "$user" -g "$user" "/home/$user/.ssh"
    install -m 600 -o "$user" -g "$user" "$host/authorized_keys" "/home/$user/.ssh/authorized_keys"
    
    # Системные файлы из git — на свои места: SSH, автообновления, журнал, подкачка, daemon.json, службы Kopia
    cp -r "$host/etc/." /etc/
    sshd -t
    systemctl restart ssh
    passwd -l root
    
    ufw default deny incoming
    ufw default allow outgoing
    ufw allow OpenSSH
    ufw allow 80,443/tcp
    ufw --force enable
    
    if ! swapon --show=NAME --noheadings | grep -qx /swapfile; then
      [ -f /swapfile ] || fallocate -l 2G /swapfile
      chmod 600 /swapfile
      mkswap /swapfile
      swapon /swapfile
    fi
    grep -q '^/swapfile ' /etc/fstab || echo '/swapfile none swap sw 0 0' >> /etc/fstab
    findmnt --verify         # ошибка в fstab останавливает загрузку — узнаём о ней сейчас
    sysctl --system >/dev/null
    systemctl restart systemd-journald
    
    # Docker и Kopia — из их репозиториев, bouncer — из репозитория CrowdSec
    for p in docker.io docker-compose docker-compose-v2 docker-doc podman-docker containerd runc; do
      if dpkg -s "$p" >/dev/null 2>&1; then apt-get remove -y "$p"; fi
    done
    install -m 0755 -d /etc/apt/keyrings
    curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
    chmod a+r /etc/apt/keyrings/docker.asc
    printf 'Types: deb\nURIs: https://download.docker.com/linux/ubuntu\nSuites: %s\nComponents: stable\nArchitectures: %s\nSigned-By: /etc/apt/keyrings/docker.asc\n' \
      "$(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")" "$(dpkg --print-architecture)" \
      > /etc/apt/sources.list.d/docker.sources
    curl -fsSL https://kopia.io/signing-key | gpg --dearmor --yes -o /etc/apt/keyrings/kopia-keyring.gpg
    echo 'deb [signed-by=/etc/apt/keyrings/kopia-keyring.gpg] http://packages.kopia.io/apt/ stable main' \
      > /etc/apt/sources.list.d/kopia.list
    curl -fsSL https://install.crowdsec.net | sh
    apt-get update
    apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin \
      kopia crowdsec-firewall-bouncer-nftables
    
    # daemon.json лёг раньше Docker, перезапуск — чтобы предел логов точно действовал
    systemctl restart docker
    docker network inspect proxy >/dev/null 2>&1 || docker network create proxy
    install -d -m 700 /srv/secrets
    # Таймеры бэкапа не включаем: снимок пустого сервера встал бы в хранилище последним
    systemctl daemon-reload
    
    echo "Основа $name готова. Вход — ssh $user@<адрес> из нового окна; это окно пока не закрываем"
    if [ -f /var/run/reboot-required ]; then echo 'Обновилось ядро: после проверки входа — sudo reboot'; fi
    /opt/scripts/restore.shстеки из бэкапа: все или названные
    #!/bin/bash
    # Стеки на новом сервере: файлы стека — из git, остальное (данные, .env, acme.json, /srv/secrets) — из последнего
    # снимка Kopia, потом запуск. sudo /opt/scripts/restore.sh — все стеки; sudo /opt/scripts/restore.sh memos gatus — названные
    set -eu
    cd /opt
    
    if [ $# -eq 0 ]; then
      set --
      for f in */docker-compose.yaml; do set -- "$@" "${f%%/*}"; done
    fi
    
    # Ключ bouncer'а лежит в /etc, вне бэкапа: в восстановленном CrowdSec меняем старый на новый
    bouncer() {
      for _ in $(seq 30); do
        if docker exec crowdsec cscli lapi status >/dev/null 2>&1; then break; fi
        sleep 2
      done
      docker exec crowdsec cscli bouncers delete firewall-bouncer >/dev/null 2>&1 || true
      key=$(docker exec crowdsec cscli bouncers add firewall-bouncer -o raw)
      sed -i "s#^api_key:.*#api_key: $key#" /etc/crowdsec/bouncers/crowdsec-firewall-bouncer.yaml
      chmod 600 /etc/crowdsec/bouncers/crowdsec-firewall-bouncer.yaml
      systemctl restart crowdsec-firewall-bouncer
    }
    
    stack() {
      s=$1
      [ -f "$s/docker-compose.yaml" ] || { echo "$s: нет в /opt — сначала git pull" >&2; return 1; }
      # --skip-existing: файлы из git новее снимка, их не трогаем
      kopia snapshot restore --skip-existing "/opt/$s" "/opt/$s"
      case $s in
        memos)
          # Файлы самой базы бэкап не берёт, их место занимает дамп
          [ -f memos/data/memos_prod.db ] || cp memos/data/dump/memos.db memos/data/memos_prod.db ;;
        # База PostgreSQL — так же строкой: поднять только базу и залить дамп из data/dump/:
        # <стек>) (cd <стек> && docker compose up -d --wait db && docker compose exec -T db psql -U <пользователь> <база> < data/dump/<база>.sql) ;;
      esac
      (cd "$s" && docker compose up -d)
      if [ "$s" = crowdsec ]; then bouncer; fi
    }
    
    kopia snapshot restore --skip-existing /srv/secrets /srv/secrets
    
    # Traefik — первым, CrowdSec — вторым: остальным нужен прокси, а бан работает с первой минуты
    for s in traefik crowdsec; do
      case " $* " in *" $s "*) stack "$s" ;; esac
    done
    for s in "$@"; do
      case $s in traefik | crowdsec) ;; *) stack "$s" ;; esac
    done
    
    docker ps --format '{{.Names}}\t{{.Status}}'

    База PostgreSQL возвращается строкой в restore.sh, как дамп в backup.sh уровня 5: пример — в комментарии у case.

    Права
    Команда Что делает
    sudo chmod 700 /opt/host/bootstrap.sh /opt/scripts/restore.sh скрипты запускает и читает только root
    Готово, если
    Команда Что должно быть
    sudo find /opt/host -type f | sort authorized_keys, bootstrap.sh и файлы в etc/: 00-hardening.conf, 52unattended-upgrades-local, 00-size.conf, 99-swappiness.conf, daemon.json, четыре kopia-*
    bash -n /opt/host/bootstrap.sh && bash -n /opt/scripts/restore.sh && echo ok ok: в скриптах нет синтаксических ошибок
    Не так — «Если не работает», случаи этапа .

    Репозиторий на GitHub

    Почему так — «Конфиги серверов в git»

    На GitHub создаём приватный репозиторий infra-web1 — пустой, без README. Ключ доступа — deploy key: он открывает один этот репозиторий, а не весь аккаунт. Запись нужна: срочную правку на сервере коммитим оттуда.

    Ключ репозитория
    Команда Что делает
    sudo ssh-keygen -t ed25519 -N '' -C infra-web1@web1 -f /root/.ssh/infra_deploy ключ для git; у root — git в /opt работает с sudo
    sudo cat /root/.ssh/infra_deploy.pub открытый ключ: в репозитории — Settings, Deploy keys, Add, с галочкой «Allow write access»
    printf 'Host github-infra\n HostName github.com\n User git\n IdentityFile /root/.ssh/infra_deploy\n IdentitiesOnly yes\n' | sudo tee -a /root/.ssh/config короткое имя: git ходит на GitHub с этим ключом, а не с первым попавшимся
    sudo ssh -T github-infra при первом входе сверяем отпечаток ключа GitHub с docs.github.com; ответ — Hi <аккаунт>/infra-web1!
    Первый коммит
    Команда Что делает
    sudo git -C /opt config user.name web1 && sudo git -C /opt config user.email example-user@web1 автор коммитов с сервера
    sudo git -C /opt add . && sudo git -C /opt status --short тот же список, что в этапе 1
    sudo git -C /opt commit -m "web1: конфиги стеков и основа сервера" первый коммит
    sudo git -C /opt remote add origin git@github-infra:<аккаунт>/infra-web1.git адрес репозитория; <аккаунт> — свой на GitHub
    sudo git -C /opt push -u origin main отправляет

    На компьютере — git clone: дальше правим там, а на сервере делаем git pull. Подробнее — «Конфиги серверов в git».

    Готово, если
    Команда Что должно быть
    sudo git -C /opt status --short пусто
    GitHub, репозиторий infra-web1 каталоги стеков, host/ и scripts/; ни одного .env и acme.json
    Не так — «Если не работает», случаи этапа .

    Новый сервер: основа одним скриптом

    Дальше — на новом VPS, у любого хостера. Для учений берём временный, ниже его адрес 203.0.113.20. Команды — под root, без sudo. Окно с root не закрываем, пока не войдём пользователем («Старая сессия остаётся открытой»).

    Ключ репозитория — на новом сервере
    Команда Что делает
    ssh [email protected] входим; отпечаток ключа сервера сверяем в консоли провайдера
    apt-get update && apt-get install -y git git; в некоторых образах его нет
    ssh-keygen -t ed25519 -N '' -C infra-web1@new -f ~/.ssh/infra_deploy свой ключ у нового сервера: старый остался на старом
    cat ~/.ssh/infra_deploy.pub открытый ключ — в Deploy keys репозитория infra-web1, с «Allow write access»
    printf 'Host github-infra\n HostName github.com\n User git\n IdentityFile ~/.ssh/infra_deploy\n IdentitiesOnly yes\n' >> ~/.ssh/config то же короткое имя, что на старом сервере
    Основа
    Команда Что делает
    git clone git@github-infra:<аккаунт>/infra-web1.git /opt скелет сервера — в /opt
    bash /opt/host/bootstrap.sh основа уровней 1–5; спросит пароль example-user — сохраняем в менеджер паролей. Второй сервер для части стеков — bash /opt/host/bootstrap.sh web2

    Скрипт занимает несколько минут. Входим из второго окна, и только потом закрываем окно root.

    Вход пользователем — во втором окне
    Команда Что делает
    ssh [email protected] вход по ключу из host/authorized_keys
    sudo reboot если скрипт написал, что обновилось ядро

    GitHub недоступен — /opt целиком есть в бэкапе. Тогда порядок другой: hostnamectl set-hostname web1, Kopia — тремя командами этапа 1 уровня 5, доступ к хранилищу — как в этапе 5 ниже, kopia snapshot restore /opt /opt, и только потом bash /opt/host/bootstrap.sh.

    Готово, если
    Команда Что должно быть
    ssh [email protected] с компьютера: Permission denied (publickey)
    sudo ufw status | head -1 Status: active
    sudo docker network ls --filter name=proxy -q | wc -l 1: сеть proxy есть
    kopia --version 0.23.… или новее
    Не так — «Если не работает», случаи этапа .

    Хранилище и стеки из бэкапа

    Почему так — «Бэкап, который переживёт сервер»

    Kopia подключаем к тому же хранилищу, что на уровне 5. Ключ к хранилищу лежит в бэкапе, а бэкап без ключа не открыть, поэтому у нового сервера доступ свой.

    А. Второй сервер: ключ — на новом сервере
    Команда Что делает
    sudo install -d -m 700 /srv/secrets/kopia каталог секретов бэкапа
    sudo ssh-keygen -t ed25519 -N '' -C kopia@web1-new -f /srv/secrets/kopia/id_ed25519 свой ключ SFTP у нового сервера
    sudo cat /srv/secrets/kopia/id_ed25519.pub на backup1 — строкой restrict,command=… в /srv/kopia/.ssh/authorized_keys, как в этапе 2 уровня 5; старый ключ на учениях не трогаем
    ssh-keyscan 198.51.100.20 | sudo tee /srv/secrets/kopia/known_hosts ключи backup1
    sudo kopia repository connect sftp --host=198.51.100.20 --username=kopia --keyfile=/srv/secrets/kopia/id_ed25519 --known-hosts=/srv/secrets/kopia/known_hosts --path=/srv/kopia/web1 --override-hostname=web1 подключение; спрашивает пароль хранилища
    Б. Google Drive
    Команда Что делает
    sudo apt-get install -y rclone && sudo rclone config подключение gdrive — те же ответы, что в этапе 2 уровня 5
    sudo kopia repository connect rclone --remote-path=gdrive:kopia-web1 --override-hostname=web1 подключение; спрашивает пароль хранилища

    --override-hostname=web1 — снимки старого сервера лежат под его именем. Для web2 — тоже web1: стек берём из снимков web1.

    Стеки
    Команда Что делает
    sudo /opt/scripts/restore.sh /srv/secrets и все стеки: данные — из последнего снимка, запуск — Traefik первым
    sudo /opt/scripts/restore.sh traefik crowdsec memos или только названные: на второй сервер — Traefik, CrowdSec и стек, который уезжает

    Каталог стека скрипт берёт из снимка всего /opt, путём внутри источника.

    Проверяем с компьютера: --resolve отправляет запрос на новый адрес, хотя DNS смотрит на старый. Сертификат — из восстановленного acme.json, поэтому HTTPS работает сразу.

    Готово, если
    Команда Что должно быть
    sudo docker ps --format '{{.Names}} {{.Status}}' восстановленные стеки — Up
    curl -s -o /dev/null -w '%{http_code}\n' --resolve memos.example.org:443:203.0.113.20 https://memos.example.org с компьютера: 200
    sudo docker exec crowdsec cscli bouncers list firewall-bouncer, в Last API pull — секунды назад
    sudo kopia snapshot list --all | head -3 снимки root@web1:/opt — хранилище подключено
    Не так — «Если не работает», случаи этапа .

    Переезд, второй сервер или учения

    Новый сервер готов. Дальше — один из трёх блоков.

    Учения — раз в полгода и после больших правок. Таймеры бэкапа на временном сервере не включаем: его снимки встали бы в хранилище рядом со снимками живого сервера.

    Учения: убираем временный сервер
    Команда Что делает
    VPS 203.0.113.20 — удаляем в панели хостера временный сервер больше не нужен
    ключ infra-web1@new — Delete в Deploy keys репозитория infra-web1 ключ удалённого сервера не открывает репозиторий
    sudo sed -i '/kopia@web1-new/d' /srv/kopia/.ssh/authorized_keys вариант А, на backup1: ключ удалённого сервера больше не пускает

    Переезд целиком — старый сервер пропал или меняем хостера. Если старый жив, ещё до этапа 5 на нём останавливаем стеки и снимаем свежий бэкап, иначе записи после ночного снимка останутся на старом: for f in /opt/*/docker-compose.yaml; do sudo docker compose -f "$f" stop; done, потом sudo systemctl start kopia-backup.service.

    Переезд: адрес и бэкап
    Команда Что делает
    записи A домена — на 203.0.113.20 у DNS-провайдера имена сервисов ведут на новый сервер; за день до переезда TTL записей — 300 с, тогда смена дойдёт за минуты
    sudo systemctl enable --now kopia-backup.timer kopia-verify.timer бэкап и проверка — уже с нового сервера
    sudo systemctl disable --now kopia-backup.timer kopia-verify.timer на старом сервере, если он жив: снимки под именем web1 пишет теперь только новый
    ключ infra-web1@web1 — Delete в Deploy keys старый сервер больше не открывает репозиторий

    В «Своих значениях» меняем адрес сервера на новый: рецепты пути возьмут его.

    Один стек на второй сервер — старый не тянет. Второй поднят как web2 (этапы 4–5). Чтобы данные не разошлись, до этапа 5 на web1 останавливаем стек — cd /opt/memos && sudo docker compose stop — и снимаем бэкап: sudo systemctl start kopia-backup.service.

    Второй сервер: свой репозиторий и свои снимки — на web2
    Команда Что делает
    sudo git -C /opt rm -r -q gatus beszel whoami на web2 — только Traefik, CrowdSec и переехавший стек
    на GitHub — приватный infra-web2; ключ infra-web1@new убираем из Deploy keys infra-web1 и добавляем в infra-web2 с «Allow write access» один deploy key GitHub держит только в одном репозитории; web2 ходит в свой
    sudo git -C /opt remote set-url origin git@github-infra:<аккаунт>/infra-web2.git короткое имя github-infra то же, репозиторий — infra-web2
    sudo git -C /opt commit -am "web2: основа и memos" && sudo git -C /opt push -u origin main история web1 уезжает вместе: видно, откуда стек
    sudo kopia repository disconnect отключаемся от имени web1
    команда подключения из этапа 5 без --override-hostname снимки web2 — под своим именем
    echo '<адрес-пинга>' | sudo tee /srv/secrets/kopia/hc-url > /dev/null у web2 своя проверка web2-backup в Healthchecks.io, как в этапе 4 уровня 5; <адрес-пинга> — её адрес
    echo '<адрес-пинга>' | sudo tee /srv/secrets/kopia/hc-verify-url > /dev/null и своя web2-verify для проверки восстановления, как в этапе 5 уровня 5
    sudo systemctl enable --now kopia-backup.timer kopia-verify.timer бэкап web2 по расписанию
    Второй сервер: стек уходит с web1 — на web1
    Команда Что делает
    cd /opt/memos && sudo docker compose down memos на web1 остановлен и удалён
    sudo git -C /opt rm -r memos && sudo git -C /opt commit -m "memos переехал на web2" && sudo git -C /opt push стек уходит из репозитория infra-web1
    sudo rm -r /opt/memos данные — на web2 и в снимках web1
    запись A для memos — на адрес web2 имя сервиса ведёт на новый сервер

    Gatus на web1 по-прежнему проверяет memos по HTTPS — ему всё равно, на каком сервере сервис.

    Готово, если
    Команда Что должно быть
    dig +short memos.example.org @1.1.1.1 переезд и второй сервер: адрес нового сервера
    systemctl list-timers 'kopia-*' на сервере, который отвечает: два таймера, у обоих заполнен NEXT
    sudo kopia snapshot list --all учения, на web1: последний снимок — ночной, временный сервер снимков не делал
    Не так — «Если не работает», случаи этапа .

    Если не работает

    Этап 1

    git add --dry-run показывает .env, acme.json или файл базы

    Причина
    Строка ! в .gitignore разрешила каталог целиком, и правила ниже уже ничего не запрещают.
    Делаем
    Для каталога пишем три строки: !/стек/, /стек/* и поимённо нужные файлы — как у стеков в файле этапа 1.
    Этап 1

    Новый стек не попадает в git add --dry-run

    Причина
    Белый список: пока каталог не разрешён в .gitignore, git его не видит.
    Делаем
    Дописываем блок стека в /opt/.gitignore: каталог, docker-compose.yaml, .env.example, если он есть.
    Этап 3

    ssh -T github-infra отвечает Permission denied (publickey)

    Причина
    Ключ не добавлен в Deploy keys этого репозитория или в ~/.ssh/config другой путь к ключу.
    Делаем
    Сверяем sudo cat /root/.ssh/infra_deploy.pub с ключом в настройках репозитория и строку IdentityFile в /root/.ssh/config.
    Этап 3

    git push пишет ERROR: The key you are authenticating with has been marked as read only

    Причина
    При добавлении deploy key не поставили галочку «Allow write access».
    Делаем
    Удаляем ключ в настройках репозитория и добавляем снова с галочкой.
    Этап 4

    git clone пишет destination path '/opt' already exists and is not an empty directory

    Причина
    Образ хостера уже положил что-то в /opt.
    Делаем
    ls -A /opt показывает что. Переносим в сторону — mv /opt /opt.image && mkdir /opt — и клонируем снова.
    Этап 4

    bootstrap.sh остановился на Нет /opt/host/authorized_keys

    Причина
    На этапе 2 ключи не скопировали или забыли закоммитить.
    Делаем
    На старом сервере — команда этапа 2 с authorized_keys, коммит и push; на новом — git -C /opt pull и скрипт снова.
    Этап 4

    После скрипта ssh [email protected] — Permission denied (publickey)

    Причина
    В host/authorized_keys нет ключа компьютера, с которого входим: его копировали с другой машины.
    Делаем
    В ещё открытом окне root дописываем строку ssh-ed25519 … с этого компьютера в /home/example-user/.ssh/authorized_keys, а на старом сервере — в /opt/host/authorized_keys с коммитом.
    Этап 4

    curl … install.crowdsec.net или apt-get update падает, скрипт остановился

    Причина
    Сеть или репозиторий недоступны в эту минуту.
    Делаем
    Запускаем bash /opt/host/bootstrap.sh снова: сделанное он пропускает или делает заново без вреда.
    Этап 5

    restore.sh пишет, что снимков для /opt/… нет

    Причина
    Kopia ищет снимки по имени сервера, а у нового — другое имя или подключение без --override-hostname.
    Делаем
    sudo kopia snapshot list --all показывает имя в снимках. Переподключаемся с --override-hostname=web1, как в этапе 5.
    Этап 5

    Traefik на новом сервере выдаёт сертификат TRAEFIK DEFAULT CERT

    Причина
    acme.json не восстановился: снимок старше выпуска сертификата или файл был в исключениях.
    Делаем
    sudo ls -l /opt/traefik/data/acme.json — размер больше нуля и права 600. Пустой — после переключения DNS Traefik выпустит сертификаты сам.
    Этап 5

    sudo docker exec crowdsec cscli bouncers list — firewall-bouncer без Last API pull

    Причина
    CrowdSec не успел подняться за минуту, и ключ bouncer'а не записался.
    Делаем
    sudo /opt/scripts/restore.sh crowdsec — скрипт заменит ключ ещё раз.
    Этап 6

    После смены DNS часть запросов приходит на старый сервер

    Причина
    Резолверы держат старую запись, пока не истечёт её TTL.
    Делаем
    Ждём TTL записи; старый сервер не выключаем, пока dig +short memos.example.org @1.1.1.1 не ответит новым адресом. Чтобы окно было в минуты, TTL снижаем за сутки («TTL записей DNS снижаем за сутки до переезда»).

    Как убрать

    Репозиторий из /opt убирается без вреда для стеков: удаляются только файлы git и основы.

    sudo rm -rf /opt/.git /opt/.gitignore /opt/.gitattributes /opt/host /opt/scripts/restore.sh
    sudo rm /root/.ssh/infra_deploy /root/.ssh/infra_deploy.pub

    Ключ infra-web1@web1 удаляем в настройках репозитория на GitHub, сам репозиторий — там же, в Settings.

    Дальше по пути