basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Docker: что это, откуда взялся и чем за него платим

    Docker запускает программу вместе со всем, что ей нужно, — библиотеками, интерпретатором, конфигом — как отдельный процесс на ядре хоста, в своей файловой системе и своей сети. Программа приходит готовым образом и ставится одной командой, а удаляется без следов в системе. Виртуальной машины нет: ядро у всех контейнеров одно, поэтому запуск занимает доли секунды, но и граница между контейнерами тоньше, чем между машинами.

    Какую задачу решает

    Программа на сервере — это не один файл. Сайту на PHP нужны интерпретатор нужной версии, десяток расширений, системные библиотеки и конфиг; сервису на Python — свои пакеты из pip. Пока программа одна, всё ставится в систему. Проблемы начинаются со второй:

    • Зависимости спорят. Старому сайту нужен PHP 7.4, новому — 8.4; одной утилите — libssl одной версии, другой — другой. В одну систему оба варианта не ставятся.
    • «У меня работает». На ноутбуке разработчика одни версии, на сервере другие, и программа ведёт себя по-разному. Разница видна только после деплоя.
    • Сервер нельзя повторить. За год в систему руками доставлено два десятка пакетов и поправлено полсотни файлов в /etc. Описания этого нет нигде, и второй такой сервер собрать не получится.
    • Удалить — страшно. Пакеты программы тянут за собой зависимости, конфиги остаются, и через год неясно, что из установленного кому нужно.

    Классический ответ — виртуальная машина на каждую программу. Изоляция полная, но у каждой машины своё ядро и своя ОС: гигабайты на диске, сотни мегабайт памяти на одну только систему, загрузка за десятки секунд, обновления в каждой.

    Docker делает изоляцию дешевле. Программу собирают в образ: её файлы вместе со всей пользовательской частью системы, от /bin/sh до библиотек. Запущенный образ — контейнер: обычный процесс на ядре хоста, которому ядро показывает только его файлы, его сеть и его процессы. Ядро одно на всех, поэтому контейнер стартует как программа, а не как ОС, и ест столько памяти, сколько сама программа.

    Программы в системе

    • PHP 8.3 из пакетов Ubuntu — одна версия на всех
    • обновление Ubuntu меняет версии под работающими сайтами
    • удаление оставляет конфиги и зависимости
    • описание сервера — в голове у админа

    Программы в контейнерах

    • у каждого сервиса своя версия: php:7.4-apache и php:8.4-fpm рядом
    • обновление системы сервисы не трогает, они несут свои библиотеки
    • docker compose down и удалить каталог — сервиса нет
    • описание сервера — compose-файлы в git

    Откуда взялся: от chroot до Docker

    Сам контейнер Docker не изобрёл. Почти всё, на чём он стоит, появилось в ядрах раньше:

    1979  chroot в Unix V7         процесс видит не весь диск, а один каталог
    2000  jail во FreeBSD 4.0      свой корень, своя сеть, свои пользователи
    2002  mount namespace в Linux  первое «пространство имён»: своё дерево монтирований
    2005  Zones в Solaris 10       ОС делится на изолированные зоны
    2008  cgroups в Linux 2.6.24   ядро считает и ограничивает CPU и память группы процессов
    2008  LXC                      утилиты, которые собирают из namespaces и cgroups контейнер
    2013  user namespace (3.8)     root в контейнере — не root на хосте

    К 2013 году в Linux было всё для изоляции, но пользоваться этим умели единицы: контейнер LXC — это настроенная вручную маленькая система, которую ещё надо наполнить, и перенести её на другую машину было нечем.

    Docker вырос внутри dotCloud — облачной платформы, которая запускала приложения клиентов в контейнерах на LXC. В марте 2013 года основатель компании Соломон Хайкс показал внутренний инструмент на PyCon в пятиминутном докладе, и в тот же месяц код открыли. Новым было не ядро, а то, что вокруг:

    • образ — файловая система программы слоями, которые можно собрать по рецепту (Dockerfile), скачать и запустить где угодно;
    • реестр — общее хранилище образов: docker pull nginx, и готовый nginx на любой машине с Docker;
    • одна команда docker run вместо ручной сборки контейнера.

    Метафора — из логистики: морской контейнер стандартного размера, которому всё равно, что внутри, а крану и кораблю всё равно, чей он. Отсюда и кит с контейнерами на логотипе.

    Дальше события шли быстро:

    2013  октябрь: dotCloud переименовывается в Docker Inc.
    2014  Docker 0.9 — свой libcontainer вместо LXC; Docker 1.0 в июне
    2014  Google открывает Kubernetes; Docker покупает Fig — будущий Docker Compose
    2015  Open Container Initiative: формат образа и запуска — общий стандарт, runc — его реализация
    2017  containerd уходит в CNCF, открытый код Docker — проект Moby
    2020  Docker Hub вводит лимит на скачивание образов
    2021  Docker Desktop — платный для компаний от 250 сотрудников или $10 млн выручки
    2022  Kubernetes 1.24 убирает dockershim: кластеры работают через containerd напрямую
    2023  Compose v1 (`docker-compose` через дефис) больше не обновляется, остаётся плагин `docker compose`

    Итог этой истории для сервера: формат образа стал стандартом OCI, и образ, собранный Docker, запускают Podman, containerd и Kubernetes. Docker Engine на Linux — открытый код (Apache 2.0) и бесплатен для всех; лицензия касается только Docker Desktop.

    Как устроено: образ, контейнер, реестр

    Образ

    nginx:1.29

    Слои файловой системы только для чтения и метаданные: какую команду запускать, какие порты и переменные. Каждая инструкция Dockerfile — новый слой. Образы с общей базой хранят её на диске один раз.

    Контейнер

    docker run

    Образ плюс тонкий слой для записи сверху (overlayfs). Всё, что программа пишет мимо томов, попадает в этот слой и исчезает вместе с контейнером.

    Том

    volumes:

    Каталог вне контейнера: том Docker в /var/lib/docker/volumes/ или каталог хоста. Данные живут здесь и переживают пересоздание.

    Реестр

    docker.io, ghcr.io

    Сервер, откуда скачивают образы и куда их публикуют. Docker Hub — реестр по умолчанию: nginx — это docker.io/library/nginx:latest.

    Что происходит при docker run:

    docker run -d -p 8080:80 nginx:1.29

    1. КлиентdockerКоманда в терминале только отправляет запрос по API в сокет /var/run/docker.sock. Отсюда же правило: кто может писать в сокет, тот root на хосте («docker.sock»).
    2. ДемонdockerdСкачивает образ, если его нет, создаёт сеть и тома, пишет правила фаервола для -p.
    3. Среда выполненияcontainerdХранит образы, следит за жизнью контейнеров. Тот же containerd работает в Kubernetes.
    4. ЗапускruncСоздаёт процесс в новых namespaces, кладёт его в cgroup с пределами и уходит. Дальше процесс работает сам.

    процесс nginx на ядре хоста · свои файлы, сеть и PID

    Изоляцию дают два механизма ядра:

    • namespaces — что процесс видит. pid: свои номера процессов, программа в контейнере — PID 1 и не видит чужих. net: свои интерфейсы и порты, поэтому десять контейнеров слушают порт 80 и не мешают друг другу. mnt: своя файловая система из образа. Ещё uts (своё имя хоста), ipc и user.
    • cgroups — сколько процесс может взять: память, доли CPU, число процессов. По умолчанию пределов нет.

    Плюс фильтры поверх: Docker отнимает у root в контейнере большую часть capabilities (менять сеть хоста, загружать модули ядра) и через seccomp запрещает около полусотни системных вызовов.

    Контейнер Linux работает только на ядре Linux. Docker Desktop на Windows и macOS поднимает для этого виртуальную машину с Linux (на Windows — в WSL 2), и контейнеры работают в ней.

    Контейнер и виртуальная машина

    Виртуальная машина

    KVM, Proxmox, VirtualBox
    • своё ядро и своя ОС, гипервизор изолирует на уровне железа
    • старт — десятки секунд, на ОС уходят сотни МБ памяти
    • образ — гигабайты
    • запускает любую ОС: Windows на Linux-хосте
    • уязвимость ядра гостя не задевает хост

    Контейнер

    Docker, Podman, LXC
    • ядро хоста, изоляция — средствами этого ядра
    • старт — доли секунды, памяти ест столько, сколько программа
    • образ — от нескольких МБ (alpine — около 8 МБ)
    • только Linux на Linux
    • уязвимость ядра — общая для всех контейнеров и хоста

    Они не соперники: на своём сервере обычно и то и другое. VPS у провайдера — уже виртуальная машина, Docker работает внутри неё. В домашней лаборатории Proxmox делит железо на машины, а сервисы в них — в контейнерах.

    Где применяют

    Основной случай

    Свой сервер

    Каждый сервис — каталог /opt/<стек>/ с compose.yaml. Прокси, бан, мониторинг, сайты — всё в контейнерах, сервер пересобирается из git («Конфиги серверов в git»).

    Разработка

    База, Redis, очередь — docker compose up в каталоге проекта, и у всей команды одни версии. Devcontainer в VS Code — вся среда разработки в контейнере.

    CI

    Тесты и сборка в чистом контейнере на каждый запуск. Результат — образ: GitHub Actions публикует его в реестр, сервер скачивает готовым, без сборки у себя.

    Попробовать программу

    docker run --rm — запустили, посмотрели, контейнер удалился. В системе ничего не осталось, кроме образа.

    Старый софт на новой системе

    Приложение под PHP 7.4 или Python 2 работает в образе со своей системой на свежей Ubuntu, где этих версий давно нет в пакетах.

    Kubernetes

    Образы — тот же формат OCI. Docker там не нужен, но собирают образы для кластера обычно им.

    Чем ещё решают эту задачу

    Как изолирует Демон Описание сервиса
    Docker контейнер приложения: один процесс, образ из реестра dockerd от root compose.yaml
    Пакеты и systemd никак: все программы в одной системе — юнит systemd, конфиги в /etc
    Podman те же контейнеры OCI, команды как у Docker нет, контейнер — дочерний процесс; работает и от обычного пользователя podman compose или юниты Quadlet в systemd
    LXC / Incus системный контейнер: целая ОС с init и SSH внутри incusd настройка внутри, как на обычном сервере
    Виртуальные машины гипервизор, своё ядро гипервизор образ диска и настройка внутри
    Kubernetes, k3s контейнеры OCI на многих машинах агенты на каждом узле манифесты YAML
    Если… Берём
    один-два сервера, сервисов от трёх, хочется пересобирать сервер из файлов Docker и Compose
    одна программа, она есть в пакетах дистрибутива и обновляется вместе с ним пакеты и systemd
    нельзя держать демон от root, или нужны контейнеры прямо в systemd Podman
    нужна «маленькая машина» с несколькими службами и входом по SSH LXC / Incus
    другое ядро или другая ОС, или чужой код, которому не доверяем виртуальная машина
    много машин, сервисы переезжают между ними сами Kubernetes, на малом железе — k3s

    Что получаем и чем платим

    Получаем

    • Одинаково везде. Образ несёт свою систему, и postgres:17 ведёт себя одинаково на ноутбуке и на сервере.
    • Зависимости не спорят. Два сайта на разных PHP, три базы разных версий — на одном хосте.
    • Установка и удаление одной командой. docker compose up -d и docker compose down; в системе после удаления не остаётся пакетов и конфигов.
    • Обновление и откат по тегу. Поменяли nextcloud:31 на 32 — pull и up -d; не взлетело — вернули тег, старый образ ещё на диске.
    • Готовые образы от авторов программ. Traefik, CrowdSec, Gitea, Vaultwarden — официальный образ с инструкцией вместо сборки из исходников.
    • Запуск за доли секунды и плотность: на VPS с 2 ГБ памяти живут десяток сервисов, которым в отдельных машинах не хватило бы памяти на одни ОС.

    Платим

    • Граница тоньше, чем у машины. Ядро общее: уязвимость в нём — выход из контейнера на хост. Группа docker и доступ к docker.sock — это root («docker.sock»).
    • Порты в обход фаервола. ports: - "8080:80" открывает порт всему интернету, ufw этого не видит («Порты Docker идут мимо цепочки input»).
    • Обновления системы не доходят до контейнеров. unattended-upgrades обновляет хост, а OpenSSL внутри образа остаётся тем, с которым образ собрали. Свежие исправления приходят только с новым образом.
    • Данные теряются тихо. Всё, что записано мимо томов, исчезает при пересоздании контейнера — без ошибок и предупреждений.
    • Диск уходит незаметно. Логи json-file без предела, старые образы, кэш сборки («Docker на Ubuntu»).
    • Пределов нет по умолчанию. Один контейнер может съесть всю память и CPU хоста.
    • Ещё один слой для отладки. В минимальном образе нет ps, curl, ping, часто даже bash; права на файлы в томах зависят от uid внутри образа («Владелец файлов WordPress»).
    • Docker Hub и лицензия. Скачивание без входа ограничено; Docker Desktop в крупной компании платный.

    Что выясняется потом: неявные плюсы

    Эти плюсы не пишут на первой странице документации, а на своём сервере они весят не меньше явных:

    • Граница данных видна. Всё, что надо бэкапить, — тома и каталоги, перечисленные в volumes:. Остальное восстанавливается из образа и compose-файла. Бэкап сервера сводится к /opt и дампам баз («Бэкап, который переживёт сервер»).
    • Описание сервера — сам сервер. Compose-файл — одновременно и документация: какой образ, какие порты, какие переменные, кто с кем в одной сети. Положили в git — получили историю изменений и откат.
    • Обновление ОС не ломает сервисы. Переход Ubuntu 24.04 на 26.04 меняет системные библиотеки, но не те, что внутри образов. Сервисы переезжают вместе с /opt.
    • Новую версию пробуют рядом со старой. Второй контейнер с новым тегом на другом порту или имени, проверили, переключили — старый ещё работает.
    • Одинаковый интерфейс у всех сервисов. Логи — docker logs у любого, перезапуск после падения — restart: unless-stopped, проверка живости — healthcheck. Юниты systemd под каждый сервис не нужны.
    • Сеть по именам. В общей сети контейнер находит соседа по имени сервиса: db:3306, без адресов. На этом же держится Traefik: маршруты он берёт из лейблов контейнеров («Traefik»).
    • Переезд на другой сервер — скопировать /opt и данные томов, docker compose up -d. Версии всех программ те же, потому что они записаны в тегах.

    Тонкости

    Одноразовый контейнер вместо установки

    Нужна утилита или другая версия языка один раз — запускаем её в контейнере с текущим каталогом внутри:

    docker run --rm -it -v "$PWD":/work -w /work python:3.15 python script.py

    --rm удаляет контейнер после выхода, -v "$PWD":/work монтирует текущий каталог, -w делает его рабочим. Так же запускают node, golang, mariadb для проверки дампа — без установки в систему.

    Что контейнер записал к себе

    docker diff показывает изменения в слое записи: A — добавлен, C — изменён, D — удалён.

    docker diff memos | grep memos_prod
    # A /var/opt/memos/memos_prod.db

    Файл базы вне тома — он пропадёт при пересоздании. Проверяем так каждый новый сервис до того, как в нём появятся настоящие данные.

    Сеть изнутри минимального контейнера

    В образе нет ни curl, ни dig — подключаем к его сетевому namespace отдельный контейнер с инструментами:

    docker run --rm -it --network container:memos nicolaka/netshoot

    Внутри — те же интерфейсы, адрес и DNS, что у memos, и полный набор: curl, dig, ss, tcpdump. Сам memos при этом не трогаем.

    Почему остановка ждёт 10 секунд

    docker stop шлёт SIGTERM процессу с PID 1 и через 10 с — SIGKILL. В shell-форме (CMD python app.py) PID 1 — это /bin/sh -c, а он сигнал программе не передаёт: она его не получает и умирает от SIGKILL, не закрыв соединения и файлы. Пишем exec-форму CMD ["python", "app.py"] или включаем init: true в compose. Базам под нагрузкой 10 с мало — им stop_grace_period: 2m («MariaDB в контейнере»).

    Порядок слоёв в Dockerfile

    Слой пересобирается, если изменился он или любой слой выше. Поэтому сначала копируем то, что меняется редко, потом — код:

    FROM python:3.15-slim
    WORKDIR /app
    COPY requirements.txt .
    RUN pip install --no-cache-dir -r requirements.txt
    COPY . .
    CMD ["python", "app.py"]

    Правка кода пересобирает только последние два слоя, pip install берётся из кэша. .dockerignore рядом с Dockerfile не пускает в образ .git, node_modules и .env — иначе секреты уезжают в реестр вместе с образом. Многоэтапная сборка (FROM … AS build, потом COPY --from=build) оставляет компиляторы в промежуточном образе: в итоговый попадает только результат.

    Тег — не версия

    Тег — подвижная метка: nginx:1.29 завтра укажет на 1.29.3 вместо 1.29.2, latest — на что угодно. Образ однозначно задаёт только digest:

    image: traefik:v3.7@sha256:<digest>

    Digest берём из docker image inspect traefik:v3.7 --format '{{index .RepoDigests 0}}'. На своём сервере обычно хватает тега с минорной версией, digest нужен там, где образ обязан быть ровно тем, что проверяли.

    Итоговый compose со всеми подстановками

    docker compose config печатает файл так, как его видит Docker: с подставленными переменными из .env, развёрнутыми путями и значениями по умолчанию. Первое, что смотрим, когда «переменная не подставилась» («Знак $»).

    Образ на другой сервер без реестра

    docker save memos-custom:1 | gzip | ssh web2 'gunzip | docker load'

    Образ уходит по SSH одним потоком, Docker Hub и свой реестр не нужны.

    Docker другого сервера со своей консоли

    docker context create web1 --docker "host=ssh://example-user@web1"
    docker --context web1 ps

    Команды docker выполняются на web1 через SSH, без открытого наружу порта API. Пользователь на web1 — в группе docker, со всеми последствиями («docker.sock»).

    Перезапуск dockerd без остановки контейнеров

    По умолчанию systemctl restart docker и обновление пакета docker-ce останавливают все контейнеры на время перезапуска демона. С "live-restore": true в /etc/docker/daemon.json контейнеры продолжают работать, пока демона нет, и демон подхватывает их после старта. Не работает со Swarm.

    Куда ушло место

    docker system df -v

    Команда показывает отдельно образы, контейнеры, тома и кэш сборки и для каждого пишет, сколько места можно освободить (RECLAIMABLE). docker image prune -a удаляет образы, которые не использует ни один контейнер, а docker builder prune чистит кэш сборки. docker system prune без разбора не запускаем: он удаляет все остановленные контейнеры, а с --volumes — и тома без контейнеров (с Docker 23 — только анонимные). Стек, остановленный на время, теряет то, что лежало в таких томах.

    Порядок запуска по готовности

    depends_on сам по себе ждёт только старта контейнера, а не готовности базы внутри. Ждём проверку:

    services:
      app:
        depends_on:
          db:
            condition: service_healthy
      db:
        image: mariadb:11.8
        healthcheck:
          test: ["CMD", "healthcheck.sh", "--connect", "--innodb_initialized"]
          interval: 10s

    А docker compose up -d --wait возвращает управление, только когда все проверки зелёные, и выходит с ошибкой, если сервис так и не поднялся. В скрипте обновления это сразу останавливает деплой.

    С чего начать

    Если не работает

    После docker compose up -d пропали данные: база пустая, загруженные файлы исчезли

    Причина
    Данные лежали в слое записи контейнера. При пересоздании контейнера — новый образ, правка compose — этот слой удаляется вместе со старым контейнером.
    Делаем
    Всё, что должно пережить контейнер, — в том или каталог хоста (volumes:). Что контейнер пишет к себе, показывает docker diff <контейнер>: строки A и C вне томов пропадут при следующем пересоздании.

    docker stop и docker compose down каждый раз ждут ровно 10 секунд

    Причина
    Процесс с PID 1 в контейнере не реагирует на SIGTERM: команда запущена через sh -c (shell-форма CMD), и оболочка сигнал не передаёт. Через 10 с Docker шлёт SIGKILL.
    Делаем
    CMD в exec-форме — ["python", "app.py"] — или init: true в compose: тогда PID 1 — tini, он передаёт сигналы и собирает зомби.

    toomanyrequests: You have reached your pull rate limit

    Причина
    Docker Hub ограничивает скачивание образов без входа по адресу сервера. На общем адресе (NAT, CI) лимит кончается быстрее.
    Делаем
    docker login с бесплатным аккаунтом поднимает лимит. Образы, которые есть в GHCR или quay.io, берём оттуда.

    exec format error сразу при запуске контейнера

    Причина
    Образ собран под другую архитектуру: amd64 на ARM-сервере или наоборот.
    Делаем
    Смотрим, под что собран образ: docker image inspect <образ> --format '{{.Architecture}}'. Берём тег с нужной архитектурой или собираем свой: docker buildx build --platform linux/arm64.

    Обновили образ, и сервис перестал запускаться, хотя compose не трогали

    Причина
    Тег latest (или тег без версии) указывает на новый выпуск после каждой публикации. docker compose pull скачал другую мажорную версию.
    Делаем
    Возвращаем прошлую версию по номеру в теге и дальше пишем версию явно: traefik:v3.7, mariadb:11.8.

    Сервер перестал отвечать, в dmesg — Out of memory: Killed process

    Причина
    Предела памяти у контейнера по умолчанию нет: один сервис с утечкой занимает всю память хоста, и OOM killer убивает что попало, вплоть до sshd.
    Делаем
    Предел каждому тяжёлому сервису: mem_limit: 512m в compose. Кто сколько ест — docker stats --no-stream.

    Контейнер не находит соседний по имени: could not translate host name "db"

    Причина
    Контейнеры в разных сетях или запущены docker run в сети по умолчанию bridge: в ней поиска по имени нет.
    Делаем
    Оба контейнера — в одной своей сети. Compose создаёт её для стека сам; между стеками — общая внешняя сеть, например proxy.

    Диск заполнился, хотя данных в томах немного

    Причина
    Старые образы, кэш сборки, остановленные контейнеры и логи json-file без предела.
    Делаем
    docker system df показывает, что сколько занимает; чистим docker image prune -a и docker builder prune. Предел логов — «Docker на Ubuntu».