basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Модель на своём железе: Ollama, API на порту 11434 и веб-интерфейс

    Ollama скачивает открытую модель, запускает её на видеокарте или процессоре и отдаёт API на порту 11434 — в том числе совместимый с OpenAI. Рядом ставим Open WebUI — чат в браузере. Данные не уходят никуда, но модель слабее облачных флагманов и упирается в память. Пароля у Ollama нет: порт наружу не открываем.

    Что получится

    /opt/ollama/compose.yml
      ollama      ollama/ollama:0.40.6        127.0.0.1:11434   модели в томе ollama
      open-webui  ghcr.io/open-webui/…       127.0.0.1:3000    чат, пользователи, загрузка документов
    браузер ──► Traefik (HTTPS + вход) ──► open-webui ──► ollama ──► видеокарта

    Без видеокарты Ollama работает на процессоре — модель 8B в кванте Q4 даёт порядка 10 токенов в секунду на двухканальной DDR5 («Сколько памяти нужно модели»): читать можно, работать агентом — нет.

    Делаем

    1. Подбираем модель под память

      Попробовать хватит компьютера без видеокарты с 8 ГБ памяти и 20 ГБ свободного места: образы ollama/ollama и Open WebUI — 3,8 и 1,6 ГБ в сжатом виде, распакованные больше. Влезают модели до 4B: qwen3:1.7b — 1,4 ГБ, qwen3:4b — 2,6 ГБ. Отвечают медленно, но API и чат в браузере работают так же, как на большой машине.

      Для работы нужна видеокарта. NVIDIA — compute capability 5.0 и выше, драйвер 550 или новее (для 5.0–6.2 — 570). AMD — драйвер ROCm 7; карты без него Ollama берёт через Vulkan. Диск — SSD: модель 8B весит 5,2 ГБ, 14B — 9,3 ГБ, 32B — 20 ГБ, а держат обычно несколько.

      Модель целиком должна влезть в видеопамять вместе с контекстом. Прикидка (подробно — «Сколько памяти нужно модели»):

      Видеопамять Что влезает в Q4 с контекстом 8–16K
      8 ГБ 7–8B
      12–16 ГБ 12–14B
      24 ГБ 27–32B
      48 ГБ и больше 70B

      На Mac с Apple Silicon видеопамять — общая с системой: на 32 ГБ под модель доступно около 20–24 ГБ.

      Свежие модели и их размеры — ollama.com/library. Примеры ниже — на qwen3:8b (5,2 ГБ в Q4, окно до 40K).

    2. Ставим Ollama и Open WebUI в Docker

      На сервере с NVIDIA сначала — NVIDIA Container Toolkit, иначе контейнер видеокарту не увидит:

      docker run --rm --gpus all ubuntu nvidia-smi    # должна быть таблица с картой
      # /opt/ollama/compose.yml
      services:
        ollama:
          image: ollama/ollama:0.40.6
          restart: unless-stopped
          ports:
            - "127.0.0.1:11434:11434"        # только с этого сервера: у Ollama нет пароля
          environment:
            OLLAMA_CONTEXT_LENGTH: "16384"   # окно контекста; больше — больше памяти
            OLLAMA_KEEP_ALIVE: "30m"         # сколько держать модель в памяти после запроса
          volumes:
            - ollama:/root/.ollama           # скачанные модели, гигабайты
          deploy:
            resources:
              reservations:
                devices:
                  - driver: nvidia
                    count: all
                    capabilities: [gpu]
      
        open-webui:
          image: ghcr.io/open-webui/open-webui:main
          restart: unless-stopped
          ports:
            - "127.0.0.1:3000:8080"
          environment:
            OLLAMA_BASE_URL: "http://ollama:11434"
          volumes:
            - open-webui:/app/backend/data
          depends_on: [ollama]
      
      volumes:
        ollama:
        open-webui:
      cd /opt/ollama && docker compose up -d

      На своём компьютере без Docker — установщик с ollama.com для Windows и macOS; на Linux — скрипт install.sh оттуда же, он ставит службу systemd ollama. Скрипт сначала читаем, потом запускаем.

    3. Скачиваем модель и смотрим скорость

      docker compose exec ollama ollama pull qwen3:8b
      docker compose exec ollama ollama run qwen3:8b --verbose "Чем отличается docker compose down от stop?"
      # …ответ…
      # eval rate:            … tokens/s
      docker compose exec ollama ollama ps

      eval rate — скорость генерации: от 20 токенов в секунду читать комфортно, агенту нужно 50 и больше. В ollama ps колонка PROCESSOR: 100% GPU — модель целиком в видеопамяти; что-то вроде 40%/60% CPU/GPU — не влезла, и скорость падает в разы.

      Команда Что делает
      ollama list скачанные модели и размер
      ollama ps что сейчас в памяти и где: GPU или CPU
      ollama show qwen3:8b параметры, квант, окно, лицензия
      ollama rm qwen3:8b удалить модель с диска
      ollama stop qwen3:8b выгрузить из памяти сразу
    4. Вызываем API

      Свой API Ollama:

      curl -s http://127.0.0.1:11434/api/chat -d '{
        "model": "qwen3:8b",
        "messages": [{"role": "user", "content": "Две строки: что такое swap?"}],
        "stream": false,
        "options": {"num_ctx": 16384}
      }' | jq -r '.message.content'

      Совместимый с OpenAI — http://127.0.0.1:11434/v1/chat/completions. Любая программа, которая умеет работать с OpenAI и даёт сменить адрес (base_url), работает с локальной моделью без правок кода; ключ — любая непустая строка.

    5. Открываем веб-интерфейс через Traefik

      Open WebUI слушает 127.0.0.1:3000. Наружу — только через Traefik с HTTPS («Traefik с нуля»): сеть proxy, лейблы роутера, порт 8080 у сервиса. Первый зарегистрированный пользователь становится администратором — регистрируемся сразу после запуска, потом выключаем свободную регистрацию в настройках.

    Как проверить

    С другого компьютера, по внешнему адресу сервера:

    curl -m 5 http://203.0.113.10:11434/api/tags
    # curl: (28) … timed out  или  curl: (7) Failed to connect …  — закрыт, так и надо

    Пришёл JSON со списком моделей — порт открыт всем, возвращаемся к шагу 2. Потом на самом сервере curl -s http://127.0.0.1:11434/api/tags | jq '.models[].name' должен показать qwen3:8b.

    Если не работает

    Отвечает по слову в секунду

    Причина
    Модель не влезла в видеопамять и частично работает на процессоре: ollama ps показывает CPU/GPU вместо 100% GPU.
    Делаем
    Модель меньше или квант ниже («Сколько памяти нужно модели»), меньше OLLAMA_CONTEXT_LENGTH; закрываем браузер и игры, которые держат видеопамять.

    Длинный документ — модель «забыла» начало

    Причина
    Окно контекста в Ollama задаётся настройкой и по умолчанию меньше, чем умеет модель; всё, что не влезло, отрезается молча. Ollama выбирает окно по видеопамяти: меньше 24 ГиБ — 4K, 24–48 ГиБ — 32K, больше — 256K.
    Делаем
    Поднимаем OLLAMA_CONTEXT_LENGTH или num_ctx в запросе; память под контекст растёт вместе с ним («Сколько памяти нужно модели»).

    Контейнер не видит видеокарту, всё на процессоре

    Причина
    Не стоит NVIDIA Container Toolkit, или в compose нет блока deploy.resources.reservations.devices.
    Делаем
    Ставим toolkit, проверяем docker run --rm --gpus all ubuntu nvidia-smi, добавляем блок из шага 2.