basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Метрики, доступность и уведомления

    Beszel показывает, чем заняты сервер и контейнеры, Gatus раз в минуту открывает сервисы по HTTPS, а Healthchecks.io снаружи ждёт от сервера пульс: замолчал — значит, лёг. Тревоги всех троих приходят на телефон через ntfy.

    Начинаем ссервера после уровня 3 «Сервисы»: Traefik получает сертификаты, memos открывается по имени, сеть proxy есть.

    Что получится

    агент Beszel ── хост и контейнеры ──▶ хаб Beszel        графики и пороги, beszel.example.org
    Gatus ── раз в минуту по HTTPS ─────▶ memos, beszel     код ответа и срок сертификата
    хаб Beszel ── пульс раз в минуту ───▶ Healthchecks.io   снаружи: пульса нет 6 минут — тревога
    тревоги всех троих ─────────────────▶ ntfy.sh ──▶ телефон
    /opt/beszel/               хаб и агент: compose, .env, data/
    /opt/gatus/                проверки: compose, .env, config/, data/
    /srv/secrets/ntfy/topic    имя темы ntfy
    • ПонадобитсяТелефон с приложением ntfy (Android или iOS)
    • ПонадобитсяАккаунт на healthchecks.io: бесплатного плана хватает, в нём 20 проверок
    • ПонадобитсяA-запись beszel.example.org на адрес сервера 203.0.113.10, как у memos на уровне 3

    Свои значения

    Подставляются в команды и файлы этого и других рецептов пути; хранятся только в этом браузере.
    Почта
    [email protected]условное
    Домен
    example.orgусловное
    Адрес сервера
    203.0.113.10условное
    Пользователь
    example-userусловное
    Имя сервера
    web1условное

    Без скрипта в командах — условные значения: меняем их на свои.

    Шаги

    Тот же рецепт коротко: команды — из этапов, файлы — строкой. Для второго сервера и для тех, кто уже знает, что делает каждая команда.

    Тема ntfy и телефон

    ntfy.sh — публичный сервер уведомлений без регистрации: кто знает имя темы, тот читает её и пишет в неё. Поэтому имя — случайная строка, а хранится оно как секрет. Свой сервер ntfy на этом же VPS не годится: лёг сервер — лёг и он, и тревога не дойдёт.

    Тема
    Команда Что делает
    sudo install -d -m 700 /srv/secrets/ntfy каталог секрета, в него заходит только root
    openssl rand -hex 16 | sudo tee /srv/secrets/ntfy/topic имя темы, 32 знака; печатается, чтобы подписаться на него с телефона
    sudo chmod 400 /srv/secrets/ntfy/topic файл только для чтения, только root

    В приложении ntfy на телефоне подписываемся на тему: имя — строка из вывода, сервер оставляем ntfy.sh.

    Проверка
    Команда Что делает
    curl -s -o /dev/null -d 'Проверка с web1' ntfy.sh/$(sudo cat /srv/secrets/ntfy/topic) шлёт уведомление в тему
    Готово, если
    Команда Что должно быть
    curl -s -o /dev/null -d 'Проверка с web1' ntfy.sh/$(sudo cat /srv/secrets/ntfy/topic) на телефоне через секунды — «Проверка с web1»
    Не так — «Если не работает», случаи этапа .

    Beszel: хаб и агент

    Хаб — страница с графиками на beszel.example.org, агент — сборщик метрик на хосте. Агент говорит с хабом через сокет в общем каталоге: TCP-порта у него нет.

    Имя beszel.example.org попадает в открытые журналы Certificate Transparency в тот момент, когда Traefik получает сертификат, и сканеры приходят по нему за минуты. Поэтому хаб создаёт пользователя сам, из .env, при первом запуске: страницы «Создать аккаунт», открытой всем, у него не бывает.

    Каталог и пароль
    Команда Что делает
    sudo mkdir -p /opt/beszel каталог стека
    sudo install -m 600 /dev/null /opt/beszel/.env пустой .env сразу с правами 600: секреты пишутся в уже закрытый файл
    echo "BESZEL_PASSWORD=$(openssl rand -hex 16)" | sudo tee -a /opt/beszel/.env пароль входа в Beszel; строка печатается один раз — пароль сохраняем в менеджер паролей
    /opt/beszel/docker-compose.yamlхаб за Traefik и агент на хосте; почта — логин в Beszel
    services:
      beszel:
        image: henrygd/beszel:latest
        container_name: beszel
        restart: unless-stopped
        environment:
          APP_URL: https://beszel.example.org
          USER_EMAIL: [email protected]
          USER_PASSWORD: ${BESZEL_PASSWORD}
          HEARTBEAT_URL: ${HEARTBEAT_URL:-}
        ports:
          - "127.0.0.1:8090:8090"
        volumes:
          - ./data/hub:/beszel_data
          - ./data/socket:/beszel_socket
        labels:
          - "traefik.enable=true"
          - "traefik.http.routers.beszel.rule=Host(`beszel.example.org`)"
          - "traefik.http.routers.beszel.entrypoints=https"
          - "traefik.http.services.beszel.loadbalancer.server.port=8090"
        networks:
          - proxy
    
      beszel-agent:
        image: henrygd/beszel-agent:latest
        container_name: beszel-agent
        restart: unless-stopped
        network_mode: host
        environment:
          LISTEN: /beszel_socket/beszel.sock
          HUB_URL: http://localhost:8090
          KEY: ${BESZEL_KEY:-}
          TOKEN: ${BESZEL_TOKEN:-}
        volumes:
          - ./data/agent:/var/lib/beszel-agent
          - ./data/socket:/beszel_socket
          - /var/run/docker.sock:/var/run/docker.sock:ro
    
    networks:
      proxy:
        external: true

    Хаб опубликован ещё и на 127.0.0.1:8090 («Порт только для хоста — на 127.0.0.1»): по этому адресу к нему ходит агент, мимо Traefik. Упадёт Traefik — метрики пишутся дальше. Сокет Docker агенту нужен для метрик контейнеров, и это доступ уровня root («docker.sock»).

    Запуск хаба
    Команда Что делает
    cd /opt/beszel && sudo docker compose up -d beszel запускает только хаб: ключа для агента ещё нет

    Открываем https://beszel.example.org, входим: почта [email protected], пароль из .env. «Добавить систему»: имя — web1, «Хост / IP» — /beszel_socket/beszel.sock. Окно не закрываем: в нём «Публичный ключ» и «Токен», их дописываем в .env.

    Ключ агента
    Команда Что делает
    printf 'BESZEL_KEY="%s"\nBESZEL_TOKEN=%s\n' '<ключ>' '<токен>' | sudo tee -a /opt/beszel/.env > /dev/null дописывает ключ и токен; <ключ> и <токен> меняем на строки из окна
    cd /opt/beszel && sudo docker compose up -d запускает агент

    В окне Beszel — «Добавить систему». Дальше два места в интерфейсе:

    • «Настройки», раздел «Уведомления», «Добавить URL»: ntfy://ntfy.sh/<тема>, тема — из sudo cat /srv/secrets/ntfy/topic. «Тест URL» — на телефоне проверочное уведомление, потом «Сохранить настройки».
    • Колокольчик в строке web1: включаем «Статус» на 2 минуты, «Использование CPU», «Использование памяти» и «Использование диска». Beszel предлагает 80 % в течение 10 минут — их и оставляем. «Статус» здесь ловит упавший агент: хаб живёт на том же сервере, и если лёг весь сервер, сказать об этом некому. Это делает этап 4.
    Готово, если
    Команда Что должно быть
    sudo docker ps --format '{{.Names}} {{.Status}}' | grep beszel beszel Up … и beszel-agent Up …
    sudo ss -tlnH | grep 8090 одна строка, 127.0.0.1:8090
    https://beszel.example.org web1 зелёная, у контейнеров traefik, memos и crowdsec — графики
    Не так — «Если не работает», случаи этапа .

    Gatus: сервисы по HTTPS

    Gatus открывает адреса, как браузер: по имени, через Traefik, с проверкой сертификата. Проверки лежат файлом, и на уровне «Переезд» их забирает git вместе со стеком.

    Каталоги и тема
    Команда Что делает
    sudo mkdir -p /opt/gatus/config /opt/gatus/data каталоги стека: конфиг и история проверок
    sudo install -m 600 /dev/null /opt/gatus/.env пустой .env с правами 600
    echo "NTFY_TOPIC=$(sudo cat /srv/secrets/ntfy/topic)" | sudo tee -a /opt/gatus/.env > /dev/null тема ntfy для Gatus — из файла этапа 1
    /opt/gatus/config/config.yamlчто проверяем и куда шлём тревогу
    storage:
      type: sqlite
      path: /data/data.db
    
    alerting:
      ntfy:
        topic: "${NTFY_TOPIC}"
        default-alert:
          failure-threshold: 3
          success-threshold: 2
          send-on-resolved: true
    
    endpoints:
      - name: memos
        url: https://memos.example.org
        interval: 60s
        conditions:
          - "[STATUS] == 200"
          - "[CERTIFICATE_EXPIRATION] > 336h"
        alerts:
          - type: ntfy
    
      - name: beszel
        url: https://beszel.example.org
        interval: 60s
        conditions:
          - "[STATUS] == 200"
          - "[CERTIFICATE_EXPIRATION] > 336h"
        alerts:
          - type: ntfy

    Тревога уходит после трёх неудач подряд: при проверке раз в минуту — через три минуты, и перезапуск контейнера на полминуты её не вызывает. send-on-resolved присылает и «снова работает» — после двух удачных проверок. Traefik продлевает сертификат за 30 дней до конца срока, поэтому > 336h (14 дней) нарушается, только если продление не проходит больше двух недель.

    /opt/gatus/docker-compose.yamlстраница Gatus — только на 127.0.0.1:8081
    services:
      gatus:
        image: twinproduction/gatus:stable
        container_name: gatus
        restart: unless-stopped
        environment:
          NTFY_TOPIC: ${NTFY_TOPIC}
        volumes:
          - ./config:/config:ro
          - ./data:/data
        ports:
          - "127.0.0.1:8081:8080"

    Монтируем каталог config/, а не один файл: отдельный файл после sed -i или git pull контейнер видит старым («Монтирование отдельного файла»).

    Запуск
    Команда Что делает
    cd /opt/gatus && sudo docker compose up -d запускает Gatus
    sudo docker logs gatus 2>&1 | tail -5 последние строки лога
    Страница — с компьютера
    Команда Что делает
    ssh -N -L 8081:127.0.0.1:8081 [email protected] туннель к странице Gatus, пока окно открыто («Туннели SSH»)

    Страница — в браузере по адресу http://localhost:8081.

    Готово, если
    Команда Что должно быть
    curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:8081 200
    http://localhost:8081 через туннель memos и beszel зелёные
    Не так — «Если не работает», случаи этапа .

    Пульс снаружи: Healthchecks.io

    Сервер не может сообщить, что лёг: вместе с ним молчат и Beszel, и Gatus. Поэтому сторож стоит снаружи. Хаб Beszel раз в минуту шлёт ему пульс (HEARTBEAT_URL), а когда пульса нет дольше срока, тревогу шлёт уже Healthchecks.io.

    В Healthchecks.io:

    • На вкладке Integrations добавляем ntfy: сервер https://ntfy.sh, тема — из sudo cat /srv/secrets/ntfy/topic.
    • «Add Check»: имя web1, Period — 1 минута, Grace Time — 5 минут. Адрес пинга вида https://hc-ping.com/… копируем со страницы проверки.

    Пять минут запаса — на перезагрузку после обновлений в 4:00 (уровень 1): без них каждая такая ночь давала бы тревогу.

    Пульс
    Команда Что делает
    echo "HEARTBEAT_URL=<адрес-пинга>" | sudo tee -a /opt/beszel/.env > /dev/null адрес пинга — в .env хаба; <адрес-пинга> меняем на адрес из Healthchecks.io
    cd /opt/beszel && sudo docker compose up -d пересоздаёт хаб с новой переменной

    Пульс подтверждает, что сервер жив и выходит в интернет. Открываются ли сайты из внешней сети, он не проверяет: Gatus ходит к ним с самого сервера. Для этого нужен внешний сервис HTTP-проверок.

    Готово, если
    Команда Что должно быть
    Beszel, «Настройки», раздел Heartbeat: «Тестовый heartbeat» «Heartbeat успешно отправлен»
    Healthchecks.io, проверка web1 up, последний пинг — меньше минуты назад
    Не так — «Если не работает», случаи этапа .

    Тревоги — проверяем действием

    Почему так — «Защиту сервера проверяем действием»

    Тревога, которая ни разу не срабатывала, может молчать из-за одной буквы в теме. Поэтому роняем то, за чем она следит, и ждём уведомления.

    Сервис упал
    Команда Что делает
    cd /opt/memos && sudo docker compose stop останавливает memos; Traefik отвечает на его имя 404
    sudo docker compose start через 5 минут, когда тревога пришла, запускает memos обратно
    Сервер замолчал
    Команда Что делает
    cd /opt/beszel && sudo docker compose stop beszel хаб молчит, пульса нет — для Healthchecks.io это лёгший сервер
    sudo docker compose start beszel через 7 минут, когда пришли обе тревоги, запускает хаб обратно
    Готово, если
    Команда Что должно быть
    cd /opt/memos && sudo docker compose stop через 3–4 минуты — тревога Gatus про memos; после start — что он снова отвечает
    cd /opt/beszel && sudo docker compose stop beszel через 3–4 минуты — тревога Gatus про beszel, около шестой минуты — down от Healthchecks.io; после start — up
    Не так — «Если не работает», случаи этапа .

    Если не работает

    Этап 1

    curl отработал, а на телефоне тихо

    Причина
    Приложение подписано на другую тему — одна буква мимо — или на другой сервер.
    Делаем
    Сверяем тему в приложении с sudo cat /srv/secrets/ntfy/topic, сервер — ntfy.sh.
    Этап 2

    Beszel не принимает пароль из .env

    Причина
    Хаб уже запускался без BESZEL_PASSWORD: USER_EMAIL и USER_PASSWORD создают пользователя только на пустой базе.
    Делаем
    cd /opt/beszel && sudo docker compose down, sudo rm -r data/hub, сверяем строку в .env и снова sudo docker compose up -d beszel.
    Этап 2

    web1 в таблице Beszel красная

    Причина
    Агент не запущен или запущен без ключа: BESZEL_KEY дописали в .env, а контейнер не пересоздали.
    Делаем
    Причину пишет sudo docker logs beszel-agent. После правки .env — sudo docker compose up -d: restart новые переменные не подхватывает.
    Этап 2

    «Тест URL» в Beszel пишет ошибку

    Причина
    Адрес записан как https://ntfy.sh/…: Beszel узнаёт службу по схеме, для ntfy она ntfy://.
    Делаем
    ntfy://ntfy.sh/<тема>, тема — из sudo cat /srv/secrets/ntfy/topic.
    Этап 3

    gatus перезапускается, в sudo docker logs gatus — ошибка разбора конфига

    Причина
    Условие без кавычек: строку, которая начинается с [, YAML читает как список.
    Делаем
    Каждое условие — в двойных кавычках, как в файле этапа 3, потом sudo docker compose restart.
    Этап 3

    На странице Gatus memos красный, а уведомления нет

    Причина
    В контейнер не попала тема: .env дописали после запуска или с опечаткой.
    Делаем
    sudo docker inspect gatus --format '{{range .Config.Env}}{{println .}}{{end}}' | grep NTFY показывает тему в контейнере. Пусто — cd /opt/gatus && sudo docker compose up -d.
    Этап 4

    Проверка web1 в Healthchecks.io висит в new

    Причина
    Хаб работает без HEARTBEAT_URL: строку дописали, а контейнер не пересоздали.
    Делаем
    cd /opt/beszel && sudo docker compose up -d. В Beszel адрес и интервал видны в «Настройках», раздел Heartbeat, там же «Тестовый heartbeat».
    Этап 4

    Тревога down приходит по ночам, около 4:00

    Причина
    Сервер перезагружается после обновлений (уровень 1), и запаса не хватает, пока поднимаются контейнеры.
    Делаем
    В Healthchecks.io поднимаем Grace Time проверки web1 до 10 минут.
    Этап 5

    memos стоит 5 минут, а тревоги нет

    Причина
    Gatus не видит падения или видит, но не может отправить уведомление.
    Делаем
    Открываем страницу Gatus через туннель из этапа 3. memos красный — случай этапа 3 про уведомления; зелёный — в config.yaml другой адрес.

    Как убрать

    cd /opt/gatus && sudo docker compose down
    cd /opt/beszel && sudo docker compose down
    sudo rm -r /opt/gatus /opt/beszel /srv/secrets/ntfy

    Проверку web1 в Healthchecks.io удаляем там же, иначе через 6 минут она пришлёт down. Подписку на тему в приложении ntfy снимаем на телефоне.

    Дальше по пути