basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Сколько памяти нужно модели: параметры, кванты, контекст и скорость

    Память под модель — это веса (параметры × бит на вес) плюс кэш контекста, который растёт с длиной разговора, плюс 1–2 ГБ на служебное. Скорость генерации упирается в пропускную способность памяти: каждый токен читает все веса. Формулы и таблицы — чтобы прикинуть до скачивания 40 ГБ.

    Веса: параметры × бит на вес

    размер весов, ГБ ≈ параметры в миллиардах × бит на вес / 8
    8B в Q4_K_M:  8 × 4,85 / 8 ≈ 4,8 ГБ

    Квант — сколько бит хранится на один вес. Меньше бит — меньше памяти и быстрее, но ниже точность.

    Квант Бит на вес Что теряем
    FP16 / BF16 16 ничего — так модель выпускают
    Q8_0 8,5 на глаз неотличимо от FP16
    Q6_K 6,6 почти неотличимо
    Q5_K_M 5,7 мелочи на сложных задачах
    Q4_K_M 4,85 заметно на коде и точных фактах, но это основной выбор для своего железа
    Q3, Q2 3–2 модель начинает путаться; лучше взять модель меньше в Q4

    Модель побольше в Q4 обычно лучше модели поменьше в Q8 при той же памяти: 14B в Q4 (8,5 ГБ) против 8B в Q8 (8,5 ГБ).

    Веса по размерам моделей, ГБ

    Параметры Q4_K_M Q5_K_M Q6_K Q8_0 FP16
    4B 2,4 2,8 3,3 4,3 8
    8B 4,8 5,7 6,6 8,5 16
    14B 8,5 10 11,5 14,9 28
    27B 16,4 19,2 22,1 28,7 54
    32B 19,4 22,8 26,2 34 64
    70B 42,4 49,8 57,4 74,4 140

    Реальный файл GGUF отличается на несколько процентов: часть слоёв квантуют иначе.

    Контекст: кэш растёт с длиной

    Для каждого токена в контексте модель хранит ключи и значения внимания (KV-кэш):

    байт на токен = 2 × слоёв × KV-голов × размер головы × 2 байта (FP16)
    Llama 3.1 8B:   2 × 32 × 8 × 128 × 2 = 128 КиБ на токен
    Llama 3.1 70B:  2 × 80 × 8 × 128 × 2 = 320 КиБ на токен
    Контекст 8B 70B
    8K 1 ГиБ 2,5 ГиБ
    16K 2 ГиБ 5 ГиБ
    32K 4 ГиБ 10 ГиБ
    128K 16 ГиБ 40 ГиБ

    Модель 8B «умеет 128K», но на видеокарте 12 ГБ при таком окне не поместится: 4,8 ГБ весов + 16 ГиБ кэша. Поэтому Ollama ставит окно меньше максимума, а поднимаем его мы — под задачу («Модель на своём железе»). Квантование кэша (OLLAMA_KV_CACHE_TYPE=q8_0) уменьшает его вдвое. Работает при включённом flash attention — Ollama включает его сам, где backend и видеокарта умеют, — и сразу для всех моделей. Сильнее всего точность теряют модели, где на одну пару «ключ — значение» приходится много голов внимания (высокий GQA), например Qwen2: на них сравниваем ответы до и после.

    Итог на видеокарту

    нужно ≈ веса + KV-кэш на выбранный контекст + 1–2 ГБ служебного
    14B Q4 с контекстом 16K:  8,5 + ~2,5 + 1,5 ≈ 12,5 ГБ — на 12 ГБ впритык, на 16 ГБ свободно

    Размер кэша на токен у 14B зависит от архитектуры; для прикидки берём середину между 8B и 70B или смотрим ollama show — там число слоёв и голов.

    MoE: память по всем параметрам, скорость по активным

    Модель-«смесь экспертов» (MoE) хранит много подсетей, а на каждый токен включает несколько. В имени это видно: 30B-A3B — 30 миллиардов всего, 3 миллиарда активных.

    Память Скорость
    плотная 30B как 30B: ~18 ГБ в Q4 как 30B
    MoE 30B-A3B как 30B: ~18 ГБ в Q4 как 3B — в разы быстрее

    Поэтому MoE хороши там, где памяти много, а пропускная способность низкая: Mac с общей памятью, сервер с большим объёмом обычной RAM.

    Скорость: пропускная способность памяти / размер весов

    Каждый новый токен читает все активные веса из памяти, поэтому потолок генерации:

    токенов в секунду ≤ пропускная способность, ГБ/с / размер активных весов, ГБ

    Реально получается 60–80% от потолка. Чтение длинного промпта идёт быстрее: его считают пачкой.

    Железо Память ГБ/с 8B Q4 32B Q4 70B Q4
    ПК, DDR5-5600, два канала системная 90 ≤ 18 ≤ 5 ≤ 2
    RTX 3060 12 ГБ 360 ≤ 74 не влезает не влезает
    RTX 4060 Ti 16 ГБ 288 ≤ 59 не влезает не влезает
    RTX 3090 / 4090 24 ГБ 936 / 1008 ≤ 190–210 ≤ 48–52 не влезает
    RTX 5090 32 ГБ 1792 ≤ 370 ≤ 92 не влезает
    Mac M4 Pro общая, до 64 ГБ 273 ≤ 56 ≤ 14 ≤ 6
    Mac M4 Max общая, до 128 ГБ 546 ≤ 113 ≤ 28 ≤ 13

    Отсюда видно, почему 4060 Ti с 16 ГБ медленнее 3060: памяти больше, а шина уже. И почему Mac с 128 ГБ запускает 70B, но неспешно.

    Сколько это в облаке

    Для сравнения: Haiku 5.5 по API — $0,10 за миллион токенов входа («Модели на октябрь 2026»). Своя видеокарта окупается, когда данные нельзя отдавать, когда токенов десятки миллионов в месяц, или когда она уже есть. Уровня флагманов на своём железе не будет: открытые модели, которые влезают в 24 ГБ, ближе к младшим облачным, и разрыв видно на коде и длинных задачах. Насколько он велик, показывают только свои задачи: прогоняем десяток типовых на обеих моделях и сравниваем ответы.