Что получится
/opt/ollama/compose.yml
ollama ollama/ollama:0.40.6 127.0.0.1:11434 модели в томе ollama
open-webui ghcr.io/open-webui/… 127.0.0.1:3000 чат, пользователи, загрузка документов
браузер ──► Traefik (HTTPS + вход) ──► open-webui ──► ollama ──► видеокарта
Без видеокарты Ollama работает на процессоре — модель 8B в кванте Q4 даёт порядка 10 токенов в секунду на двухканальной DDR5 («Сколько памяти нужно модели»): читать можно, работать агентом — нет.
Делаем
Подбираем модель под память
Попробовать хватит компьютера без видеокарты с 8 ГБ памяти и 20 ГБ свободного места: образы
ollama/ollamaи Open WebUI — 3,8 и 1,6 ГБ в сжатом виде, распакованные больше. Влезают модели до 4B:qwen3:1.7b— 1,4 ГБ,qwen3:4b— 2,6 ГБ. Отвечают медленно, но API и чат в браузере работают так же, как на большой машине.Для работы нужна видеокарта. NVIDIA — compute capability 5.0 и выше, драйвер 550 или новее (для 5.0–6.2 — 570). AMD — драйвер ROCm 7; карты без него Ollama берёт через Vulkan. Диск — SSD: модель 8B весит 5,2 ГБ, 14B — 9,3 ГБ, 32B — 20 ГБ, а держат обычно несколько.
Модель целиком должна влезть в видеопамять вместе с контекстом. Прикидка (подробно — «Сколько памяти нужно модели»):
Видеопамять Что влезает в Q4 с контекстом 8–16K 8 ГБ 7–8B 12–16 ГБ 12–14B 24 ГБ 27–32B 48 ГБ и больше 70B На Mac с Apple Silicon видеопамять — общая с системой: на 32 ГБ под модель доступно около 20–24 ГБ.
Свежие модели и их размеры —
ollama.com/library. Примеры ниже — наqwen3:8b(5,2 ГБ в Q4, окно до 40K).Ставим Ollama и Open WebUI в Docker
На сервере с NVIDIA сначала — NVIDIA Container Toolkit, иначе контейнер видеокарту не увидит:
docker run --rm --gpus all ubuntu nvidia-smi # должна быть таблица с картой# /opt/ollama/compose.yml services: ollama: image: ollama/ollama:0.40.6 restart: unless-stopped ports: - "127.0.0.1:11434:11434" # только с этого сервера: у Ollama нет пароля environment: OLLAMA_CONTEXT_LENGTH: "16384" # окно контекста; больше — больше памяти OLLAMA_KEEP_ALIVE: "30m" # сколько держать модель в памяти после запроса volumes: - ollama:/root/.ollama # скачанные модели, гигабайты deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] open-webui: image: ghcr.io/open-webui/open-webui:main restart: unless-stopped ports: - "127.0.0.1:3000:8080" environment: OLLAMA_BASE_URL: "http://ollama:11434" volumes: - open-webui:/app/backend/data depends_on: [ollama] volumes: ollama: open-webui:cd /opt/ollama && docker compose up -dНа своём компьютере без Docker — установщик с
ollama.comдля Windows и macOS; на Linux — скриптinstall.shоттуда же, он ставит службу systemdollama. Скрипт сначала читаем, потом запускаем.Скачиваем модель и смотрим скорость
docker compose exec ollama ollama pull qwen3:8b docker compose exec ollama ollama run qwen3:8b --verbose "Чем отличается docker compose down от stop?" # …ответ… # eval rate: … tokens/s docker compose exec ollama ollama pseval rate— скорость генерации: от 20 токенов в секунду читать комфортно, агенту нужно 50 и больше. Вollama psколонкаPROCESSOR:100% GPU— модель целиком в видеопамяти; что-то вроде40%/60% CPU/GPU— не влезла, и скорость падает в разы.Команда Что делает ollama listскачанные модели и размер ollama psчто сейчас в памяти и где: GPU или CPU ollama show qwen3:8bпараметры, квант, окно, лицензия ollama rm qwen3:8bудалить модель с диска ollama stop qwen3:8bвыгрузить из памяти сразу Вызываем API
Свой API Ollama:
curl -s http://127.0.0.1:11434/api/chat -d '{ "model": "qwen3:8b", "messages": [{"role": "user", "content": "Две строки: что такое swap?"}], "stream": false, "options": {"num_ctx": 16384} }' | jq -r '.message.content'Совместимый с OpenAI —
http://127.0.0.1:11434/v1/chat/completions. Любая программа, которая умеет работать с OpenAI и даёт сменить адрес (base_url), работает с локальной моделью без правок кода; ключ — любая непустая строка.Открываем веб-интерфейс через Traefik
Open WebUI слушает
127.0.0.1:3000. Наружу — только через Traefik с HTTPS («Traefik с нуля»): сетьproxy, лейблы роутера, порт8080у сервиса. Первый зарегистрированный пользователь становится администратором — регистрируемся сразу после запуска, потом выключаем свободную регистрацию в настройках.
Как проверить
С другого компьютера, по внешнему адресу сервера:
curl -m 5 http://203.0.113.10:11434/api/tags
# curl: (28) … timed out или curl: (7) Failed to connect … — закрыт, так и надо
Пришёл JSON со списком моделей — порт открыт всем, возвращаемся к шагу 2. Потом на самом сервере
curl -s http://127.0.0.1:11434/api/tags | jq '.models[].name' должен показать qwen3:8b.
Если не работает
Отвечает по слову в секунду
- Причина
- Модель не влезла в видеопамять и частично работает на процессоре:
ollama psпоказываетCPU/GPUвместо100% GPU. - Делаем
- Модель меньше или квант ниже («Сколько памяти нужно модели»), меньше
OLLAMA_CONTEXT_LENGTH; закрываем браузер и игры, которые держат видеопамять.
Длинный документ — модель «забыла» начало
- Причина
- Окно контекста в Ollama задаётся настройкой и по умолчанию меньше, чем умеет модель; всё, что не влезло, отрезается молча. Ollama выбирает окно по видеопамяти: меньше 24 ГиБ — 4K, 24–48 ГиБ — 32K, больше — 256K.
- Делаем
- Поднимаем
OLLAMA_CONTEXT_LENGTHилиnum_ctxв запросе; память под контекст растёт вместе с ним («Сколько памяти нужно модели»).
Контейнер не видит видеокарту, всё на процессоре
- Причина
- Не стоит NVIDIA Container Toolkit, или в compose нет блока
deploy.resources.reservations.devices. - Делаем
- Ставим toolkit, проверяем
docker run --rm --gpus all ubuntu nvidia-smi, добавляем блок из шага 2.
Порт 11434 закрыт в ufw, а снаружи отвечает
- Причина
- Порт опубликован Docker'ом как
11434:11434— на всех интерфейсах, мимо цепочкиinput. - Делаем
- Публикуем на
127.0.0.1:11434:11434(«Порт только для хоста — на 127.0.0.1», «Порты Docker идут мимо цепочки input»).