Деплой, который молча встал, хуже ручного: правки копятся, а на сервере старое. Поэтому каждый запуск скрипта
шлёт пульс, а сбой — пинг fail с причиной. Проверка — отдельная от бэкапа: у них разное расписание.
В Healthchecks.io:
- «Add Check»: имя
web1-deploy, Period — 10 минут, Grace — 30 минут. Короткий сбой GitHub тревогой не станет, а остановленный деплой — станет. - На странице проверки, в Notification Methods, включена интеграция ntfy с уровня 4.
- Адрес пинга — вида
https://hc-ping.com/…— копируем.
| Команда | Что делает |
|---|---|
sudo install -d -m 700 /srv/secrets/deploy |
каталог секрета деплоя |
echo '<адрес-пинга>' | sudo tee /srv/secrets/deploy/hc-url > /dev/null |
<адрес-пинга> меняем на адрес из Healthchecks.io |
sudo chmod 400 /srv/secrets/deploy/hc-url |
только чтение, только root |
Этапы 1–3 делаем за один раз: первый пинг пришлёт скрипт.
| Команда | Что должно быть |
|---|---|
sudo cat /srv/secrets/deploy/hc-url |
https://hc-ping.com/… |
Скрипт забирает новые коммиты с GitHub и сливает их только перемоткой: правку на сервере без коммита
или коммит, которого нет на GitHub, он не затирает, а останавливается с тревогой. Изменённые стеки находит по
git diff и поднимает командой docker compose up -d --wait: она ждёт, пока контейнеры запустятся и пройдут
healthcheck. Стек не поднялся — файлы возвращаются к прошлому коммиту, и тронутые стеки поднимаются с ними.
Если рядом с compose-файлом изменился другой файл стека — например, traefik.yml, — стек пересоздаётся: файл, смонтированный по
одному, после git контейнер не видит («Монтирование отдельного файла»). Изменения в host/ и scripts/ скрипт
не применяет: системные файлы после git ставим руками, как на уровне 6.
#!/bin/bash
# Деплой из git: забирает новые коммиты infra-web1 и перезапускает изменённые стеки; стек не поднялся — откат
# всего коммита и тревога через Healthchecks.io. Запускает deploy.timer раз в 10 минут
set -u
cd /opt
ping=$(cat /srv/secrets/deploy/hc-url)
failed=.git/deploy-failed # коммит, который не поднялся: второй раз его не пробуем
hc() { curl -fsS -m 10 --retry 3 -o /dev/null "$@"; }
fail() {
printf '%s\n' "$1" >&2
printf '%s\n' "$1" | tail -c 10000 | hc --data-binary @- "$ping/fail"
exit 1
}
# Стек — к файлам из git: compose-файл есть — поднимаем, нет — стек убрали из git, останавливаем (data/ остаётся)
up() {
local s=$1
if [ ! -f "$s/docker-compose.yaml" ]; then
docker compose -p "$s" down
# Отдельный файл после git контейнер не видит: изменилось не только compose — пересоздаём
elif git diff --name-only "$old" "$new" -- "$s" | grep -qvx "$s/docker-compose.yaml"; then
(cd "$s" && docker compose up -d --wait --wait-timeout 180 --force-recreate)
else
(cd "$s" && docker compose up -d --wait --wait-timeout 180)
fi
}
# Тело — в функции: bash читает скрипт по ходу, а git может заменить и этот файл
main() {
# GitHub не ответил — молчим: короткий сбой не тревога, а долгий Healthchecks.io заметит по тишине
git fetch -q origin main || exit 0
old=$(git rev-parse HEAD)
new=$(git rev-parse origin/main)
if [ "$old" = "$new" ]; then hc "$ping"; exit 0; fi
if [ "$new" = "$(cat "$failed" 2>/dev/null)" ]; then fail "${new:0:7} не поднялся, ждём следующего коммита"; fi
# Правку на сервере не затираем: её сначала коммитят и отправляют на GitHub
dirty=$(git status --short --untracked-files=no)
[ -z "$dirty" ] || fail "В /opt правка без коммита:
$dirty"
git merge-base --is-ancestor "$old" "$new" ||
fail "На сервере коммиты, которых нет на GitHub: git -C /opt log --oneline origin/main..HEAD"
git merge -q --ff-only "$new" || fail "git merge не прошёл"
# Стек — первый каталог изменённого пути, у которого есть compose-файл до или после коммита.
# host/ и scripts/ — не стеки: системные файлы после git ставим руками
touched=
for s in $(git diff --name-only "$old" "$new" | cut -d/ -f1 | sort -u); do
git cat-file -e "$old:$s/docker-compose.yaml" 2>/dev/null ||
git cat-file -e "$new:$s/docker-compose.yaml" 2>/dev/null || continue
touched="$touched $s"
if ! out=$(up "$s" 2>&1); then
# reset --hard меняет только файлы из git: данные, .env и acme.json в git не входят (не git clean)
git reset -q --hard "$old"
for d in $touched; do up "$d" >/dev/null 2>&1; done
echo "$new" > "$failed"
fail "$s не поднялся на ${new:0:7}, вернули ${old:0:7}:
$out"
fi
done
rm -f "$failed"
echo "${new:0:7}:${touched:- без стеков}" | hc --data-binary @- "$ping"
}
main
| Команда | Что делает |
|---|---|
sudo chmod 700 /opt/scripts/deploy.sh |
запускает и читает только root |
sudo git -C /opt status --short |
пусто, кроме ?? scripts/deploy.sh: на сервере нет правок без коммита |
sudo /opt/scripts/deploy.sh && echo ok |
новых коммитов нет — только пульс в Healthchecks.io |
| Команда | Что должно быть |
|---|---|
sudo /opt/scripts/deploy.sh && echo ok |
ok |
Healthchecks.io, проверка web1-deploy |
up, последний пинг — только что |
Таймер раз в 10 минут
пройденЗапускает скрипт таймер systemd: новый запуск не наложится на предыдущий, а вывод попадёт в журнал службы. Скрипт и юниты отправляем на GitHub с сервера — в последний раз: дальше правим только на компьютере.
[Unit]
Description=Деплой стеков /opt из git
Wants=network-online.target
After=network-online.target docker.service
[Service]
Type=oneshot
ExecStart=/opt/scripts/deploy.sh
# git ищет настройки в ~: без User= systemd не задаёт HOME
Environment=HOME=/root
[Unit]
Description=Деплой из git каждые 10 минут
[Timer]
OnCalendar=*:0/10
[Install]
WantedBy=timers.target
| Команда | Что делает |
|---|---|
cd / && sudo cp --parents etc/systemd/system/deploy.service etc/systemd/system/deploy.timer /opt/host/ |
копии юнитов — для bootstrap.sh, как остальные системные файлы |
sudo git -C /opt add scripts/deploy.sh host/etc/systemd/system |
скрипт и юниты — в git |
sudo git -C /opt commit -m "web1: деплой из git по таймеру" && sudo git -C /opt push |
на GitHub; до включения таймера, иначе он застанет неотправленный коммит |
sudo systemctl daemon-reload && sudo systemctl enable --now deploy.timer |
таймер включён и переживёт перезагрузку |
На компьютере — git pull: эти коммиты нужны и там.
С этого места срочная правка на сервере — сразу коммит и push оттуда, иначе деплой встанет с тревогой
«правка без коммита». На переезде (этап 6 уровня 6) вместе с таймерами бэкапа включаем deploy.timer.
На учениях — нет: временный сервер слал бы пульс за живой.
| Команда | Что должно быть |
|---|---|
systemctl list-timers deploy.timer |
в NEXT — не позже чем через 10 минут |
journalctl -u deploy.service -n 5 --no-pager |
после ближайшего запуска — Finished deploy.service, без ошибок |
Проверка делом: правка и ошибка с компьютера
пройденДальше — на компьютере, в клоне infra-web1. Сначала правка, которую видно снаружи: whoami печатает своё имя,
если оно задано. В whoami/docker-compose.yaml к сервису whoami дописываем:
environment:
WHOAMI_NAME: from-git| Команда | Что делает |
|---|---|
git commit -am "whoami: имя из git" && git push |
правка — на GitHub; дальше сервер сам |
curl -s https://whoami.example.org | grep Name |
через 10 минут: Name: from-git |
Теперь ошибка: в том же файле образ traefik/whoami:no-such-tag — такого тега нет, скачать его нельзя.
| Команда | Что делает |
|---|---|
git commit -am "whoami: несуществующий тег" && git push |
коммит, который не поднимется |
curl -s https://whoami.example.org | grep Name |
через 10 минут: тревога web1-deploy в ntfy, а whoami отвечает по-прежнему — Name: from-git |
git revert --no-edit HEAD && git push |
исправление — новым коммитом; через 10 минут проверка снова up |
Что не поднялось, видно в Healthchecks.io: в журнале проверки — тело пинга fail с выводом
docker compose. На сервере то же — в journalctl -u deploy.service.
| Команда | Что должно быть |
|---|---|
curl -s https://whoami.example.org | grep Name |
Name: from-git |
Healthchecks.io, проверка web1-deploy |
up; в журнале — down с причиной и up после revert |
Renovate: новые версии образов
пройденRenovate находит образы в compose-файлах и открывает pull request, когда выходит новая версия: тег v3.8 вместо v3.7
или новая сборка того же stable. Смотрим, что поменялось, сливаем — и деплоит тот же скрипт. Каждое
обновление видно в истории и откатывается git revert.
Ставим приложение: github.com/apps/renovate — Install, «Only select repositories» — infra-web1.
Через несколько минут Renovate открывает pull request
«Configure Renovate» со своим renovate.json и списком найденных образов. Сливаем его, на компьютере — git pull
и меняем файл на наш:
{
"$schema": "https://docs.renovatebot.com/renovate-schema.json",
"extends": ["config:recommended", "docker:pinDigests"],
"timezone": "Europe/Berlin",
"schedule": ["before 6am on monday"],
"packageRules": [
{
"description": "Новые сборки тех же тегов — одним PR в неделю",
"matchUpdateTypes": ["digest"],
"groupName": "digests"
}
]
}
docker:pinDigests дописывает к тегу digest — stable@sha256:…. Так образ на сервере точно тот, что в git:
новая сборка под старым тегом приходит pull request’ом и молча при pull образ не подменит. Новые digest
собираются в один pull request в неделю: окно — утро понедельника.
| Команда | Что делает |
|---|---|
git commit -am "renovate: digest, окно — понедельник" && git push |
конфиг — на GitHub; Renovate читает его оттуда |
Первым придёт «Pin dependencies»: digest для всех образов сразу. Если образ на сервере давно не скачивали, digest будет новее, и после слияния стеки поднимутся на свежих образах. Сливаем, когда есть 10 минут посмотреть на сервисы.
| Команда | Что должно быть |
|---|---|
GitHub, Issues в infra-web1 |
Dependency Dashboard: образы из compose-файлов всех стеков |
sudo grep -h 'image:' /opt/*/docker-compose.yaml |
после слияния «Pin dependencies»: у каждого образа @sha256:… |
Если не работает
deploy.sh пишет cat: /srv/secrets/deploy/hc-url: No such file or directory
- Причина
- Пропущен этап 1: адреса пинга на сервере нет.
- Делаем
- Команды этапа 1, потом скрипт снова.
Проверка web1-deploy в Healthchecks.io висит в new или ушла в down, хотя сервер жив
- Причина
- Таймер не включён, или
git fetchот root не доходит до GitHub: тогда скрипт молчит, и Healthchecks.io видит тишину. - Делаем
systemctl list-timers deploy.timer— таймер есть;sudo git -C /opt fetch— ошибку видно сразу.Permission denied (publickey)— сверяем ключ в Deploy keys, как в этапе 3 уровня 6.
Тревога, в журнале проверки — В /opt правка без коммита
- Причина
- Файл из git поправили на сервере. Деплой его не затирает и стоит, пока правка не решена.
- Делаем
sudo git -C /opt diffпоказывает правку. Нужна — коммит иpushс сервера; не нужна —sudo git -C /opt checkout -- <файл>.
Тревога, в журнале проверки — На сервере коммиты, которых нет на GitHub
- Причина
- Коммит сделан на сервере, но не отправлен, или его история разошлась с GitHub.
- Делаем
sudo git -C /opt push; отказ —sudo git -C /opt pull --rebase && sudo git -C /opt push.
git push прошёл, через 20 минут на сервере ничего не изменилось
- Причина
- Скрипт не дошёл до стеков: журнал службы говорит почему.
- Делаем
journalctl -u deploy.service -n 30 --no-pager. Ветка на компьютере —main: другую сервер не забирает.
Тревога повторяется, в журнале — <коммит> не поднялся, ждём следующего коммита
- Причина
- Скрипт помнит коммит, который не поднялся, и второй раз его не пробует.
- Делаем
- Чиним в git и отправляем новый коммит или
git revert. Если сбой был временный — реестр образов не отвечал —sudo rm /opt/.git/deploy-failed: следующий запуск попробует снова.
В Dependency Dashboard нет образов из compose-файлов
- Причина
- У Renovate нет доступа к
infra-web1или compose-файл назван не так, как он ищет. - Делаем
- На GitHub — Settings, Applications, Renovate, Configure:
infra-web1в списке репозиториев. Имя файла —docker-compose.yamlилиcompose.yaml.
Понедельник прошёл, pull request'ов с новыми digest нет
- Причина
- Renovate создаёт их только в окне
schedule, а новых сборок за неделю могло и не быть. - Делаем
- Dependency Dashboard — список того, что ждёт окна; отметка у строки создаёт pull request сразу.
Как убрать
Стеки остаются как есть, уходят только деплой и Renovate.
sudo systemctl disable --now deploy.timer
sudo rm /etc/systemd/system/deploy.service /etc/systemd/system/deploy.timer && sudo systemctl daemon-reload
sudo rm -r /srv/secrets/deploy
sudo git -C /opt rm -q scripts/deploy.sh host/etc/systemd/system/deploy.service host/etc/systemd/system/deploy.timer renovate.json
sudo git -C /opt commit -m "web1: без деплоя из git" && sudo git -C /opt push
Проверку web1-deploy удаляем в Healthchecks.io, иначе через 40 минут она пришлёт down. Renovate — на GitHub:
Settings, Applications, Renovate, Uninstall.