basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN
    МануалHomelabЛоги

    Логи Traefik: CrowdSec, vector, Loki, ротация

    Access-лог Traefik — главный источник и для защиты (CrowdSec), и для разбора «что происходило» (Loki и Grafana). Его читают напрямую или через раскладчик vector, который делит лог по сервисам и отбрасывает шум. Каждый читатель помнит, где остановился, а у каждого файла один механизм ротации.

    Кто пишет и кто читает

    Traefik пишет два лога: служебный traefik.log и access-лог, где каждый запрос — строка JSON. Access-лог читают трое:

    access.log ─┬─→ CrowdSec (type: traefik)                       — сценарии атак → баны
                ├─→ vector → split/<сервис>.log → CrowdSec          — то же, по сервисам и без шума
                └─→ Promtail → Loki → Grafana                       — поиск, графики, разбор

    Promtail отправляет в Loki логи всех контейнеров (через docker.sock:ro) и access-лог — для полнотекстового поиска. Свои позиции он помнит в positions.yaml, в томе.

    Настройка

    1. Traefik пишет два лога

      log:                                   # служебный лог Traefik
        level: INFO
        filePath: "/logs/traefik.log"
        maxSize: 10                          # МБ — Traefik ротирует этот файл сам
        maxBackups: 5
        maxAge: 30
        compress: true
      accesslog:                             # каждый запрос — строка JSON
        format: json
        filePath: "/logs/access.log"         # своей ротации нет — нужен logrotate
    2. CrowdSec читает access-лог

      Напрямую — файлом acquis.d/traefik.yaml:

      filenames: [/opt/traefik/data/logs/access.log]
      labels: { type: traefik }

      Если сервисов много или есть шумные клиенты, между Traefik и CrowdSec ставим vector (следующий шаг), и CrowdSec читает уже split/*.log: у каждого сервиса свой файл, и разбор каждого настраивается отдельно.

    3. vector раскладывает лог по сервисам

      Раскладка — по хосту запроса, шум отсекается фильтром:

      data_dir: /var/lib/vector                       # позиции чтения — в томе (шаг 4)
      sources:
        traefik_raw:
          type: file
          include: [/logs/access.log]
          read_from: beginning                        # только для файла без сохранённой позиции
      transforms:
        parse_json:
          type: remap
          inputs: [traefik_raw]
          source: . = parse_json!(.message)
        global_filter:                                # отбрасываем шумные запросы агентов мониторинга
          type: filter
          inputs: [parse_json]
          condition: '!(.RequestHost == "monitor.example.org" && .RequestMethod == "POST" && starts_with(string!(.RequestPath), "/api/agents"))'
        split_services:
          type: route
          inputs: [global_filter]
          route:
            notes: '.RequestHost == "example.org"'
            monitor: '.RequestHost == "monitor.example.org"'
      sinks:
        notes_file:   { type: file, inputs: [split_services.notes],   path: /out/notes.log,   encoding: { codec: json } }
        monitor_file: { type: file, inputs: [split_services.monitor], path: /out/monitor.log, encoding: { codec: json } }
        fallback:     { type: file, inputs: [split_services._unmatched], path: /out/other.log, encoding: { codec: json } }

      Шумные запросы отсекаем до CrowdSec: сценарии вроде «много запросов за короткое время» могут забанить собственный агент мониторинга.

    4. Позиции чтения — в томе

      Каждый читатель запоминает, где остановился: vector — в data_dir, Promtail — в positions.yaml, CrowdSec — сам. Позиции должны пережить пересоздание контейнера, иначе после обновления образа файл читается с начала:

      vector:
        volumes:
          - ./data/logs:/logs:ro
          - ./data/logs/split:/out
          - vector_data:/var/lib/vector               # позиции — в томе
      volumes:
        vector_data:

      Если vector уже работает без тома, переносим позиции, чтобы он не перечитал лог:

      docker compose stop vector
      docker cp vector:/var/lib/vector/. /root/vector-ckpt/
      git pull                                         # compose с томом
      docker compose create vector                     # новый контейнер, ещё не запущен
      docker cp /root/vector-ckpt/. vector:/var/lib/vector/
      docker compose start vector && rm -rf /root/vector-ckpt
    5. Ротация — один механизм на файл

      Файл Кто ротирует Как
      traefik.log сам Traefik (maxSize, maxBackups, maxAge, compress) в logrotate его не добавляем
      access.log logrotate переименование и сигнал USR1: Traefik переоткрывает файл
      split/*.log (пишет vector) logrotate copytruncate: vector держит файлы открытыми, сигнал переоткрытия не принимает
      /etc/logrotate.d/traefik
      /opt/traefik/data/logs/access.log
      {
              rotate 2
              daily
              missingok
              notifempty
              compress
              delaycompress

      delaycompress — файл .1 не сжимается сразу, читатели успевают его дочитать.

              postrotate
                docker kill --signal="USR1" traefik
              endscript
      }
      Главное

      После переименования Traefik получает USR1 и открывает новый access.log.

      /etc/logrotate.d/vector-split-logs
      /opt/traefik/data/logs/split/*.log
      {
          daily
          rotate 7
          maxsize 10M
          missingok
          notifempty
          compress
          delaycompress
          copytruncate
      }

      copytruncate: копия уходит в архив, а файл обрезается на месте — vector продолжает писать в тот же файл.

      Оба файла — в репозитории сервера (host/logrotate.d/, «Конфиги серверов в git»).

    Сколько читателей ставить

    Схема Когда Цена
    CrowdSec читает access.log напрямую один-два сайта, шума мало всё в одной куче
    vector раскладывает по split/*.log, CrowdSec читает их много сервисов; есть шумные клиенты (агенты мониторинга с частыми POST) ещё один контейнер и ротация его файлов
    плюс Promtail, Loki и Grafana нужен поиск и графики память: Loki — самый тяжёлый (сотни МБ)

    Если не работает

    После обновления vector в split/*.log дубли, и CrowdSec банит за старые события

    Причина
    Позиции чтения жили в слое контейнера и пропали при пересоздании, поэтому весь access.log прочитан заново.
    Делаем
    Выносим data_dir в том (шаг 4).

    Раскладчик «работает», а файлы пустые

    Причина
    Он читает не тот путь — свою пустую папку вместо логов Traefik — или не запущен.
    Делаем
    Сверяем include с томом и смотрим docker compose ps.

    Часть строк traefik.log теряется, файлы путаются

    Причина
    traefik.log ротируют и сам Traefik, и logrotate.
    Делаем
    Убираем его из logrotate.

    access.log растёт без конца

    Причина
    Своей ротации у него нет.
    Делаем
    Ставим logrotate с сигналом USR1 (шаг 5).

    Glob *.log в источнике CrowdSec захватывает и traefik.log

    Причина
    Служебные строки не разбираются как access-лог и шумят в метриках парсеров.
    Делаем
    Указываем файлы точнее.

    После ротации CrowdSec перестал видеть события

    Причина
    postrotate не выполнился, и Traefik пишет в старый, переименованный файл.
    Делаем
    Смотрим ls -la /opt/traefik/data/logs/: Traefik должен писать в новый файл. CrowdSec и Promtail следят за файлом по имени и переходят на новый: в логе CrowdSec — Successfully reopened /logs/access.log.

    Атака под видом агента мониторинга прошла незамеченной

    Причина
    Фильтр шума слишком широкий: отброшенные строки CrowdSec не видит вовсе.
    Делаем
    Фильтруем узко: хост, метод и путь вместе.

    Как проверить

    logrotate -d /etc/logrotate.conf 2>&1 | grep -iE 'error|traefik|split'    # пробный прогон, ничего не меняет
    ls -la /opt/traefik/data/logs/ /opt/traefik/data/logs/split/              # размеры и свежесть
    docker exec crowdsec cscli metrics show acquisition                       # строки по каждому источнику растут