basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN
    МануалHomelabCrowdSec

    CrowdSec с Traefik за Cloudflare: два bouncer'а и X-Forwarded-For

    CrowdSec сам ничего не блокирует — блокируют bouncer'ы. Ставим два: на хосте (nftables) и в Traefik (плагин, 403). Сайты за Cloudflare закрывает только плагин, если правильно сказать ему, кому верить в X-Forwarded-For.

    Как решение доходит до пакета

    логи: SSH, nftables, access-лог Traefik, логи контейнеров ─→ CrowdSec: парсеры → сценарии → решение
    блок-листы сообщества (CAPI) и подписки ────────────────────────────────────────────────┘
                                             решения → LAPI (127.0.0.1:8080)
         ├─→ crowdsec-firewall-bouncer на хосте — nftables, хуки input + forward: пакеты от адреса отбрасываются
         └─→ плагин в Traefik — middleware crowdsec@file: HTTP 403 на роутерах, где он подключён

    Настройка

    1. CrowdSec в контейнере

      LAPI публикуем только на 127.0.0.1 — к нему ходит firewall-bouncer с хоста. Плагину Traefik хватает общей сети proxy.

      services:
        crowdsec:
          image: crowdsecurity/crowdsec:latest
          container_name: crowdsec
          restart: unless-stopped
          environment:
            # коллекции — только под реальные источники
            COLLECTIONS: "crowdsecurity/linux crowdsecurity/sshd crowdsecurity/iptables crowdsecurity/base-http-scenarios crowdsecurity/http-cve crowdsecurity/traefik"
          volumes:
            - ./data/config:/etc/crowdsec                     # конфиг, хаб, учётные данные LAPI/CAPI
            - ./data/db:/var/lib/crowdsec/data                # база решений
            - /var/log:/var/log:ro                            # auth.log, nftables.log
            - /opt/traefik/data/logs:/opt/traefik/data/logs:ro
            - /var/run/docker.sock:/var/run/docker.sock:ro    # только если есть источник source: docker
          ports:
            - "127.0.0.1:8080:8080"                           # LAPI — только для хоста (firewall-bouncer)
          networks: [proxy]                                   # общая сеть с Traefik — для плагина
    2. Источники — data/config/acquis.d/*.yaml

      acquis.yaml со строкой /does/not/exist — заглушка из образа. Настоящие источники кладём в acquis.d/.

      # SSH
      filenames: [/var/log/auth.log]
      labels: { type: syslog }
      ---
      # access-лог Traefik (JSON)
      filenames: [/opt/traefik/data/logs/access.log]
      labels: { type: traefik }
      ---
      # логи контейнера nginx — через docker.sock
      source: docker
      container_name: [nginx]
      labels: { type: nginx }
    3. Срок бана — profiles.yaml

      decisions:
        - type: ban
          duration: 30d

      Срок записывается в решение при создании, поэтому правка касается только новых банов. После правки перезапускаем: docker compose restart crowdsec.

    4. Bouncer на хосте

      Ставим пакет crowdsec-firewall-bouncer (nftables). Ключ выдаёт cscli bouncers add <имя>, адрес LAPI — 127.0.0.1:8080. Хуков нужно два, input и forward: без forward бан не закрывает контейнеры с опубликованными портами («Порты Docker идут мимо цепочки input»).

    5. Плагин в Traefik

      Статический конфиг traefik.yml:

      experimental:
        plugins:
          crowdsec-bouncer-traefik-plugin:
            moduleName: "github.com/maxlerebourg/crowdsec-bouncer-traefik-plugin"
            version: "v1.8.1"

      Middleware — в динамическом конфиге dynamic/crowdsec.yml:

      http:
        middlewares:
          crowdsec:
            plugin:
              crowdsec-bouncer-traefik-plugin:
                enabled: true
                crowdsecMode: stream                    # решения скачиваются раз в updateIntervalSeconds
                updateIntervalSeconds: 15
                updateMaxFailure: 10                    # после стольких неудач подряд — блокировать всё
                crowdsecLapiHost: crowdsec:8080
                crowdsecLapiScheme: http
                crowdsecLapiKeyFile: /run/secrets/crowdsec_lapi_key   # ключ — Docker secret, не в файле
                forwardedHeadersTrustedIPs:             # прокси перед Traefik: им верим в X-Forwarded-For
                  - 10.0.0.0/8
                  - 172.16.0.0/12
                  - 192.168.0.0/16
                  # + диапазоны Cloudflare, если сайт за его прокси
                clientTrustedIPs:                       # кого НЕ проверять вовсе — только свои сети
                  - 10.0.0.0/8
                  - 172.16.0.0/12
                  - 192.168.0.0/16
                forwardedHeadersCustomName: "X-Forwarded-For"

      К роутеру подключаем первым в цепочке — тогда забаненный получает 403 раньше окна пароля:

      - "traefik.http.routers.app-https.middlewares=crowdsec@file,app-auth"

      Ключ передаём как Docker secret в compose Traefik:

      services:
        traefik:
          secrets: [crowdsec_lapi_key]
      secrets:
        crowdsec_lapi_key:
          file: /srv/secrets/traefik/crowdsec_lapi_key
    6. Сайт за Cloudflare

      Через прокси Cloudflare все запросы приходят с адресов Cloudflare, а адрес посетителя едет в X-Forwarded-For.

      • Traefik: в entryPoints.https.forwardedHeaders.trustedIPs — диапазоны Cloudflare, IPv4 и IPv6 (список — cloudflare.com/ips). Тогда Traefik пишет в лог настоящий адрес.
      • Плагин: те же диапазоны — в forwardedHeadersTrustedIPs. С этих адресов он берёт реальный IP из X-Forwarded-For и проверяет его; сам Cloudflare под бан не попадает.
      • В clientTrustedIPs Cloudflare не кладём никогда: это список тех, кого плагин не проверяет вовсе.
      • Подделать адрес через Cloudflare не выйдет: Cloudflare дописывает реальный IP последним, а плагин читает цепочку справа налево.

    Ключ уже записан в crowdsec.yml

    Если ключ лежит прямо в файле (crowdsecLapiKey: "…"), выносим его в secret, не показывая на экране:

    install -d -m 700 /srv/secrets /srv/secrets/traefik
    key=$(sed -nE 's/^[[:space:]]*crowdsecLapiKey:[[:space:]]*"?([^"[:space:]]+)"?.*/\1/p' /opt/traefik/data/dynamic/crowdsec.yml)
    printf '%s' "$key" > /srv/secrets/traefik/crowdsec_lapi_key; unset key   # printf — без перевода строки
    chmod 400 /srv/secrets/traefik/crowdsec_lapi_key
    wc -c < /srv/secrets/traefik/crowdsec_lapi_key                            # не 0

    Сколько bouncer’ов и где

    Схема Что закрывает Когда
    только firewall-bouncer всё по IP: SSH, сервисы хоста, контейнеры (при хуке forward) сервер без доменов и без прокси CDN, например хранилище бэкапов
    firewall-bouncer + плагин плюс сайты за Cloudflare — по настоящему адресу из XFF сервер с доменами, хотя бы один за прокси CDN
    только плагин только HTTP-роутеры с middleware нет доступа к фаерволу хоста (редко)

    CrowdSec работает и без своих источников: подписки CAPI, блок-листы сообщества, приходят сами. Хранилищу бэкапов хватает SSH-логов и подписок.

    На доменах без CDN плагин дублирует фаервол: если firewall-bouncer стоит на forward, забаненный адрес до Traefik не доходит. Вреда от этого нет, а для сайтов за CDN плагин обязателен.

    Бывает, что трафик нужно пропустить через Traefik как есть, без расшифровки: TCP-роутер с tls.passthrough. HTTP-middleware на такой роутер не действуют, плагин его не видит — закрывает только фаервол, и закрывает адрес целиком: забаненный по ошибке теряет всё, что идёт через этот сервер. Через прокси Cloudflare такой трафик не пройдёт — Cloudflare сам расшифровывает TLS, поэтому такие домены без его прокси.

    Если не работает

    Свой адрес в бане, а сайт за Cloudflare открывается

    Причина
    Диапазоны Cloudflare попали в clientTrustedIPs, а это список тех, кого плагин не проверяет. Через Cloudflare идут все посетители — значит, не проверяется никто.
    Делаем
    Переносим диапазоны в forwardedHeadersTrustedIPs.

    Бан есть, а сайт на прямом домене открывается

    Причина
    Сошлись две вещи: firewall-bouncer стоит только на input, а плагин к этому роутеру не подключён. Чаще всего middleware навешен на роутер с другим именем: в лейбле app-secure, а роутер называется app-https.
    Делаем
    Добавляем firewall-bouncer'у хук forward («Порты Docker идут мимо цепочки input») и сверяем имя роутера в каждом лейбле («Middleware на несуществующем роутере»).

    После правки crowdsec.yml легли все сайты с плагином

    Причина
    Плагин не прочитал ключ — secret не смонтирован в контейнер, — и middleware не создался. Или исчерпан updateMaxFailure, и плагин блокирует всех.
    Делаем
    Откатываемся: кладём прежний crowdsec.yml обратно в dynamic/, Traefik перечитывает его сразу.

    CrowdSec ничего не находит

    Причина
    Источник смотрит на лог, которого нет: сервис убрали, путь сменился, контейнер переименовали.
    Делаем
    Смотрим cscli metrics show acquisition — сколько строк прочитано по каждому источнику — и правим путь в acquis.d/.

    В cscli bouncers list много записей [email protected]

    Причина
    После пересоздания контейнер Traefik получает новый адрес, плагин приходит с тем же ключом, и CrowdSec создаёт запись на каждый адрес.
    Делаем
    Ничего: живая запись — со свежим Last API pull, остальные — следы, вреда от них нет. По имени запись с @ не удалить: cscli отвечает auto-created and cannot be deleted. Запись без @ не трогаем: её удаление убирает все записи сразу и отзывает ключ — плагин получает 403. Следы убирает docker exec crowdsec cscli bouncers prune -d 168h --force: удаляет записи, которые не обращались к LAPI неделю; ключ работает, пока жива хоть одна запись.

    Поменяли срок бана, а старые баны — с прежним

    Причина
    Срок записывается в решение при создании.
    Делаем
    Ничего: старые решения доживают свой срок.

    Забанили сами себя

    Причина
    Свой адрес попал в решения — сценарием или проверочным баном.
    Делаем
    Снимаем бан с другого адреса — с телефона по мобильному интернету — или через консоль хостинга: cscli decisions delete --ip <свой IP>. Поэтому проверочный бан ставим на адрес телефона, а не рабочего компьютера.

    Как проверить

    Действием, с телефона по мобильному интернету — у него другой адрес, его видно на ifconfig.me:

    docker exec crowdsec cscli decisions add --ip <IP> --duration 2m --reason test
    #  сайт за Cloudflare            → 403 от плагина
    #  сайт на прямом домене         → не открывается вовсе (firewall-bouncer)
    #  SSH с этого адреса            → не подключается
    docker exec crowdsec cscli decisions delete --ip <IP>
    
    docker exec crowdsec cscli bouncers list     # у обоих bouncer'ов свежий «Last API pull»