basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Деплой без SSH

    Правим только в git на компьютере: раз в 10 минут сервер сам забирает новые коммиты и перезапускает изменённые стеки, а стек, который не поднялся, откатывает вместе с коммитом. Новые версии образов Renovate присылает pull request'ами — сливаем, и сервер сам их деплоит. Сбой деплоя или его тишина — тревога в ntfy через Healthchecks.io.

    Начинаем ссервера после уровня 6 «Переезд»: /opt — репозиторий infra-web1 на GitHub, его клон — на компьютере, у Healthchecks.io есть интеграция с ntfy.

    Что получится

    компьютер ── git push ──▶ GitHub (infra-web1) ◀── git fetch раз в 10 минут ── web1: deploy.sh
    deploy.sh   изменённые стеки — docker compose up -d --wait; стек не поднялся — откат коммита
    Renovate ── pull request с новой версией образа ──▶ GitHub: смотрим, сливаем — сервер деплоит сам
    Healthchecks.io   пульс каждого запуска; сбой деплоя или тишина 40 минут — тревога в ntfy
    
    /opt/scripts/deploy.sh          скрипт деплоя, в git
    /srv/secrets/deploy/hc-url      адрес пинга проверки web1-deploy
    • ПонадобитсяКлон infra-web1 на компьютере — этап 3 уровня 6
    • ПонадобитсяАккаунт Healthchecks.io и тема ntfy с уровня 4
    • ПонадобитсяАккаунт GitHub, в котором лежит infra-web1: в него ставим Renovate

    Свои значения

    Подставляются в команды и файлы этого и других рецептов пути; хранятся только в этом браузере.
    Домен
    example.orgусловное
    Имя сервера
    web1условное

    Без скрипта в командах — условные значения: меняем их на свои.

    Шаги

    Тот же рецепт коротко: команды — из этапов, файлы — строкой. Для второго сервера и для тех, кто уже знает, что делает каждая команда.

    Проверка деплоя в Healthchecks.io

    Почему так — «Метрики, доступность и уведомления»

    Деплой, который молча встал, хуже ручного: правки копятся, а на сервере старое. Поэтому каждый запуск скрипта шлёт пульс, а сбой — пинг fail с причиной. Проверка — отдельная от бэкапа: у них разное расписание.

    В Healthchecks.io:

    • «Add Check»: имя web1-deploy, Period — 10 минут, Grace — 30 минут. Короткий сбой GitHub тревогой не станет, а остановленный деплой — станет.
    • На странице проверки, в Notification Methods, включена интеграция ntfy с уровня 4.
    • Адрес пинга — вида https://hc-ping.com/… — копируем.
    Адрес пинга
    Команда Что делает
    sudo install -d -m 700 /srv/secrets/deploy каталог секрета деплоя
    echo '<адрес-пинга>' | sudo tee /srv/secrets/deploy/hc-url > /dev/null <адрес-пинга> меняем на адрес из Healthchecks.io
    sudo chmod 400 /srv/secrets/deploy/hc-url только чтение, только root

    Этапы 1–3 делаем за один раз: первый пинг пришлёт скрипт.

    Готово, если
    Команда Что должно быть
    sudo cat /srv/secrets/deploy/hc-url https://hc-ping.com/…
    Не так — «Если не работает», случаи этапа .

    Скрипт деплоя

    Почему так — «Конфиги серверов в git»

    Скрипт забирает новые коммиты с GitHub и сливает их только перемоткой: правку на сервере без коммита или коммит, которого нет на GitHub, он не затирает, а останавливается с тревогой. Изменённые стеки находит по git diff и поднимает командой docker compose up -d --wait: она ждёт, пока контейнеры запустятся и пройдут healthcheck. Стек не поднялся — файлы возвращаются к прошлому коммиту, и тронутые стеки поднимаются с ними.

    Если рядом с compose-файлом изменился другой файл стека — например, traefik.yml, — стек пересоздаётся: файл, смонтированный по одному, после git контейнер не видит («Монтирование отдельного файла»). Изменения в host/ и scripts/ скрипт не применяет: системные файлы после git ставим руками, как на уровне 6.

    /opt/scripts/deploy.shзабирает коммиты, поднимает изменённые стеки, при сбое откатывает
    #!/bin/bash
    # Деплой из git: забирает новые коммиты infra-web1 и перезапускает изменённые стеки; стек не поднялся — откат
    # всего коммита и тревога через Healthchecks.io. Запускает deploy.timer раз в 10 минут
    set -u
    cd /opt
    
    ping=$(cat /srv/secrets/deploy/hc-url)
    failed=.git/deploy-failed       # коммит, который не поднялся: второй раз его не пробуем
    
    hc() { curl -fsS -m 10 --retry 3 -o /dev/null "$@"; }
    
    fail() {
      printf '%s\n' "$1" >&2
      printf '%s\n' "$1" | tail -c 10000 | hc --data-binary @- "$ping/fail"
      exit 1
    }
    
    # Стек — к файлам из git: compose-файл есть — поднимаем, нет — стек убрали из git, останавливаем (data/ остаётся)
    up() {
      local s=$1
      if [ ! -f "$s/docker-compose.yaml" ]; then
        docker compose -p "$s" down
      # Отдельный файл после git контейнер не видит: изменилось не только compose — пересоздаём
      elif git diff --name-only "$old" "$new" -- "$s" | grep -qvx "$s/docker-compose.yaml"; then
        (cd "$s" && docker compose up -d --wait --wait-timeout 180 --force-recreate)
      else
        (cd "$s" && docker compose up -d --wait --wait-timeout 180)
      fi
    }
    
    # Тело — в функции: bash читает скрипт по ходу, а git может заменить и этот файл
    main() {
      # GitHub не ответил — молчим: короткий сбой не тревога, а долгий Healthchecks.io заметит по тишине
      git fetch -q origin main || exit 0
      old=$(git rev-parse HEAD)
      new=$(git rev-parse origin/main)
      if [ "$old" = "$new" ]; then hc "$ping"; exit 0; fi
      if [ "$new" = "$(cat "$failed" 2>/dev/null)" ]; then fail "${new:0:7} не поднялся, ждём следующего коммита"; fi
    
      # Правку на сервере не затираем: её сначала коммитят и отправляют на GitHub
      dirty=$(git status --short --untracked-files=no)
      [ -z "$dirty" ] || fail "В /opt правка без коммита:
    $dirty"
      git merge-base --is-ancestor "$old" "$new" ||
        fail "На сервере коммиты, которых нет на GitHub: git -C /opt log --oneline origin/main..HEAD"
      git merge -q --ff-only "$new" || fail "git merge не прошёл"
    
      # Стек — первый каталог изменённого пути, у которого есть compose-файл до или после коммита.
      # host/ и scripts/ — не стеки: системные файлы после git ставим руками
      touched=
      for s in $(git diff --name-only "$old" "$new" | cut -d/ -f1 | sort -u); do
        git cat-file -e "$old:$s/docker-compose.yaml" 2>/dev/null ||
          git cat-file -e "$new:$s/docker-compose.yaml" 2>/dev/null || continue
        touched="$touched $s"
        if ! out=$(up "$s" 2>&1); then
          # reset --hard меняет только файлы из git: данные, .env и acme.json в git не входят (не git clean)
          git reset -q --hard "$old"
          for d in $touched; do up "$d" >/dev/null 2>&1; done
          echo "$new" > "$failed"
          fail "$s не поднялся на ${new:0:7}, вернули ${old:0:7}:
    $out"
        fi
      done
    
      rm -f "$failed"
      echo "${new:0:7}:${touched:- без стеков}" | hc --data-binary @- "$ping"
    }
    
    main
    Первый запуск
    Команда Что делает
    sudo chmod 700 /opt/scripts/deploy.sh запускает и читает только root
    sudo git -C /opt status --short пусто, кроме ?? scripts/deploy.sh: на сервере нет правок без коммита
    sudo /opt/scripts/deploy.sh && echo ok новых коммитов нет — только пульс в Healthchecks.io
    Готово, если
    Команда Что должно быть
    sudo /opt/scripts/deploy.sh && echo ok ok
    Healthchecks.io, проверка web1-deploy up, последний пинг — только что
    Не так — «Если не работает», случаи этапа .

    Таймер раз в 10 минут

    Запускает скрипт таймер systemd: новый запуск не наложится на предыдущий, а вывод попадёт в журнал службы. Скрипт и юниты отправляем на GitHub с сервера — в последний раз: дальше правим только на компьютере.

    /etc/systemd/system/deploy.service
    [Unit]
    Description=Деплой стеков /opt из git
    Wants=network-online.target
    After=network-online.target docker.service
    
    [Service]
    Type=oneshot
    ExecStart=/opt/scripts/deploy.sh
    # git ищет настройки в ~: без User= systemd не задаёт HOME
    Environment=HOME=/root
    /etc/systemd/system/deploy.timer
    [Unit]
    Description=Деплой из git каждые 10 минут
    
    [Timer]
    OnCalendar=*:0/10
    
    [Install]
    WantedBy=timers.target
    В git, потом включаем
    Команда Что делает
    cd / && sudo cp --parents etc/systemd/system/deploy.service etc/systemd/system/deploy.timer /opt/host/ копии юнитов — для bootstrap.sh, как остальные системные файлы
    sudo git -C /opt add scripts/deploy.sh host/etc/systemd/system скрипт и юниты — в git
    sudo git -C /opt commit -m "web1: деплой из git по таймеру" && sudo git -C /opt push на GitHub; до включения таймера, иначе он застанет неотправленный коммит
    sudo systemctl daemon-reload && sudo systemctl enable --now deploy.timer таймер включён и переживёт перезагрузку

    На компьютере — git pull: эти коммиты нужны и там.

    С этого места срочная правка на сервере — сразу коммит и push оттуда, иначе деплой встанет с тревогой «правка без коммита». На переезде (этап 6 уровня 6) вместе с таймерами бэкапа включаем deploy.timer. На учениях — нет: временный сервер слал бы пульс за живой.

    Готово, если
    Команда Что должно быть
    systemctl list-timers deploy.timer в NEXT — не позже чем через 10 минут
    journalctl -u deploy.service -n 5 --no-pager после ближайшего запуска — Finished deploy.service, без ошибок
    Не так — «Если не работает», случаи этапа .

    Проверка делом: правка и ошибка с компьютера

    Дальше — на компьютере, в клоне infra-web1. Сначала правка, которую видно снаружи: whoami печатает своё имя, если оно задано. В whoami/docker-compose.yaml к сервису whoami дописываем:

        environment:
          WHOAMI_NAME: from-git
    Правка
    Команда Что делает
    git commit -am "whoami: имя из git" && git push правка — на GitHub; дальше сервер сам
    curl -s https://whoami.example.org | grep Name через 10 минут: Name: from-git

    Теперь ошибка: в том же файле образ traefik/whoami:no-such-tag — такого тега нет, скачать его нельзя.

    Ошибка и откат
    Команда Что делает
    git commit -am "whoami: несуществующий тег" && git push коммит, который не поднимется
    curl -s https://whoami.example.org | grep Name через 10 минут: тревога web1-deploy в ntfy, а whoami отвечает по-прежнему — Name: from-git
    git revert --no-edit HEAD && git push исправление — новым коммитом; через 10 минут проверка снова up

    Что не поднялось, видно в Healthchecks.io: в журнале проверки — тело пинга fail с выводом docker compose. На сервере то же — в journalctl -u deploy.service.

    Готово, если
    Команда Что должно быть
    curl -s https://whoami.example.org | grep Name Name: from-git
    Healthchecks.io, проверка web1-deploy up; в журнале — down с причиной и up после revert
    Не так — «Если не работает», случаи этапа .

    Renovate: новые версии образов

    Renovate находит образы в compose-файлах и открывает pull request, когда выходит новая версия: тег v3.8 вместо v3.7 или новая сборка того же stable. Смотрим, что поменялось, сливаем — и деплоит тот же скрипт. Каждое обновление видно в истории и откатывается git revert.

    Ставим приложение: github.com/apps/renovate — Install, «Only select repositories» — infra-web1. Через несколько минут Renovate открывает pull request «Configure Renovate» со своим renovate.json и списком найденных образов. Сливаем его, на компьютере — git pull и меняем файл на наш:

    /opt/renovate.jsonв корне репозитория; правим на компьютере — сервер получит его сам
    {
      "$schema": "https://docs.renovatebot.com/renovate-schema.json",
      "extends": ["config:recommended", "docker:pinDigests"],
      "timezone": "Europe/Berlin",
      "schedule": ["before 6am on monday"],
      "packageRules": [
        {
          "description": "Новые сборки тех же тегов — одним PR в неделю",
          "matchUpdateTypes": ["digest"],
          "groupName": "digests"
        }
      ]
    }

    docker:pinDigests дописывает к тегу digest — stable@sha256:…. Так образ на сервере точно тот, что в git: новая сборка под старым тегом приходит pull request’ом и молча при pull образ не подменит. Новые digest собираются в один pull request в неделю: окно — утро понедельника.

    Конфиг Renovate
    Команда Что делает
    git commit -am "renovate: digest, окно — понедельник" && git push конфиг — на GitHub; Renovate читает его оттуда

    Первым придёт «Pin dependencies»: digest для всех образов сразу. Если образ на сервере давно не скачивали, digest будет новее, и после слияния стеки поднимутся на свежих образах. Сливаем, когда есть 10 минут посмотреть на сервисы.

    Готово, если
    Команда Что должно быть
    GitHub, Issues в infra-web1 Dependency Dashboard: образы из compose-файлов всех стеков
    sudo grep -h 'image:' /opt/*/docker-compose.yaml после слияния «Pin dependencies»: у каждого образа @sha256:…
    Не так — «Если не работает», случаи этапа .

    Если не работает

    Этап 2

    deploy.sh пишет cat: /srv/secrets/deploy/hc-url: No such file or directory

    Причина
    Пропущен этап 1: адреса пинга на сервере нет.
    Делаем
    Команды этапа 1, потом скрипт снова.
    Этап 3

    Проверка web1-deploy в Healthchecks.io висит в new или ушла в down, хотя сервер жив

    Причина
    Таймер не включён, или git fetch от root не доходит до GitHub: тогда скрипт молчит, и Healthchecks.io видит тишину.
    Делаем
    systemctl list-timers deploy.timer — таймер есть; sudo git -C /opt fetch — ошибку видно сразу. Permission denied (publickey) — сверяем ключ в Deploy keys, как в этапе 3 уровня 6.
    Этап 3

    Тревога, в журнале проверки — В /opt правка без коммита

    Причина
    Файл из git поправили на сервере. Деплой его не затирает и стоит, пока правка не решена.
    Делаем
    sudo git -C /opt diff показывает правку. Нужна — коммит и push с сервера; не нужна — sudo git -C /opt checkout -- <файл>.
    Этап 3

    Тревога, в журнале проверки — На сервере коммиты, которых нет на GitHub

    Причина
    Коммит сделан на сервере, но не отправлен, или его история разошлась с GitHub.
    Делаем
    sudo git -C /opt push; отказ — sudo git -C /opt pull --rebase && sudo git -C /opt push.
    Этап 4

    git push прошёл, через 20 минут на сервере ничего не изменилось

    Причина
    Скрипт не дошёл до стеков: журнал службы говорит почему.
    Делаем
    journalctl -u deploy.service -n 30 --no-pager. Ветка на компьютере — main: другую сервер не забирает.
    Этап 4

    Тревога повторяется, в журнале — <коммит> не поднялся, ждём следующего коммита

    Причина
    Скрипт помнит коммит, который не поднялся, и второй раз его не пробует.
    Делаем
    Чиним в git и отправляем новый коммит или git revert. Если сбой был временный — реестр образов не отвечал — sudo rm /opt/.git/deploy-failed: следующий запуск попробует снова.
    Этап 5

    В Dependency Dashboard нет образов из compose-файлов

    Причина
    У Renovate нет доступа к infra-web1 или compose-файл назван не так, как он ищет.
    Делаем
    На GitHub — Settings, Applications, Renovate, Configure: infra-web1 в списке репозиториев. Имя файла — docker-compose.yaml или compose.yaml.
    Этап 5

    Понедельник прошёл, pull request'ов с новыми digest нет

    Причина
    Renovate создаёт их только в окне schedule, а новых сборок за неделю могло и не быть.
    Делаем
    Dependency Dashboard — список того, что ждёт окна; отметка у строки создаёт pull request сразу.

    Как убрать

    Стеки остаются как есть, уходят только деплой и Renovate.

    sudo systemctl disable --now deploy.timer
    sudo rm /etc/systemd/system/deploy.service /etc/systemd/system/deploy.timer && sudo systemctl daemon-reload
    sudo rm -r /srv/secrets/deploy
    sudo git -C /opt rm -q scripts/deploy.sh host/etc/systemd/system/deploy.service host/etc/systemd/system/deploy.timer renovate.json
    sudo git -C /opt commit -m "web1: без деплоя из git" && sudo git -C /opt push

    Проверку web1-deploy удаляем в Healthchecks.io, иначе через 40 минут она пришлёт down. Renovate — на GitHub: Settings, Applications, Renovate, Uninstall.

    Дальше по пути