Веса: параметры × бит на вес
размер весов, ГБ ≈ параметры в миллиардах × бит на вес / 8
8B в Q4_K_M: 8 × 4,85 / 8 ≈ 4,8 ГБ
Квант — сколько бит хранится на один вес. Меньше бит — меньше памяти и быстрее, но ниже точность.
| Квант | Бит на вес | Что теряем |
|---|---|---|
FP16 / BF16 |
16 | ничего — так модель выпускают |
Q8_0 |
8,5 | на глаз неотличимо от FP16 |
Q6_K |
6,6 | почти неотличимо |
Q5_K_M |
5,7 | мелочи на сложных задачах |
Q4_K_M |
4,85 | заметно на коде и точных фактах, но это основной выбор для своего железа |
Q3, Q2 |
3–2 | модель начинает путаться; лучше взять модель меньше в Q4 |
Модель побольше в Q4 обычно лучше модели поменьше в Q8 при той же памяти: 14B в Q4 (8,5 ГБ) против 8B в Q8 (8,5 ГБ).
Веса по размерам моделей, ГБ
| Параметры | Q4_K_M | Q5_K_M | Q6_K | Q8_0 | FP16 |
|---|---|---|---|---|---|
| 4B | 2,4 | 2,8 | 3,3 | 4,3 | 8 |
| 8B | 4,8 | 5,7 | 6,6 | 8,5 | 16 |
| 14B | 8,5 | 10 | 11,5 | 14,9 | 28 |
| 27B | 16,4 | 19,2 | 22,1 | 28,7 | 54 |
| 32B | 19,4 | 22,8 | 26,2 | 34 | 64 |
| 70B | 42,4 | 49,8 | 57,4 | 74,4 | 140 |
Реальный файл GGUF отличается на несколько процентов: часть слоёв квантуют иначе.
Контекст: кэш растёт с длиной
Для каждого токена в контексте модель хранит ключи и значения внимания (KV-кэш):
байт на токен = 2 × слоёв × KV-голов × размер головы × 2 байта (FP16)
Llama 3.1 8B: 2 × 32 × 8 × 128 × 2 = 128 КиБ на токен
Llama 3.1 70B: 2 × 80 × 8 × 128 × 2 = 320 КиБ на токен
| Контекст | 8B | 70B |
|---|---|---|
| 8K | 1 ГиБ | 2,5 ГиБ |
| 16K | 2 ГиБ | 5 ГиБ |
| 32K | 4 ГиБ | 10 ГиБ |
| 128K | 16 ГиБ | 40 ГиБ |
Модель 8B «умеет 128K», но на видеокарте 12 ГБ при таком окне не поместится: 4,8 ГБ весов + 16 ГиБ кэша.
Поэтому Ollama ставит окно меньше максимума, а поднимаем его мы — под задачу («Модель на своём железе»). Квантование
кэша (OLLAMA_KV_CACHE_TYPE=q8_0) уменьшает его вдвое. Работает при включённом flash attention — Ollama включает его сам, где backend и видеокарта умеют, — и сразу для всех моделей. Сильнее всего точность теряют модели, где на одну пару «ключ — значение» приходится много голов внимания (высокий GQA), например Qwen2: на них сравниваем ответы до и после.
Итог на видеокарту
нужно ≈ веса + KV-кэш на выбранный контекст + 1–2 ГБ служебного
14B Q4 с контекстом 16K: 8,5 + ~2,5 + 1,5 ≈ 12,5 ГБ — на 12 ГБ впритык, на 16 ГБ свободно
Размер кэша на токен у 14B зависит от архитектуры; для прикидки берём середину между 8B и 70B
или смотрим ollama show — там число слоёв и голов.
MoE: память по всем параметрам, скорость по активным
Модель-«смесь экспертов» (MoE) хранит много подсетей, а на каждый токен включает несколько. В имени
это видно: 30B-A3B — 30 миллиардов всего, 3 миллиарда активных.
| Память | Скорость | |
|---|---|---|
| плотная 30B | как 30B: ~18 ГБ в Q4 | как 30B |
| MoE 30B-A3B | как 30B: ~18 ГБ в Q4 | как 3B — в разы быстрее |
Поэтому MoE хороши там, где памяти много, а пропускная способность низкая: Mac с общей памятью, сервер с большим объёмом обычной RAM.
Скорость: пропускная способность памяти / размер весов
Каждый новый токен читает все активные веса из памяти, поэтому потолок генерации:
токенов в секунду ≤ пропускная способность, ГБ/с / размер активных весов, ГБ
Реально получается 60–80% от потолка. Чтение длинного промпта идёт быстрее: его считают пачкой.
| Железо | Память | ГБ/с | 8B Q4 | 32B Q4 | 70B Q4 |
|---|---|---|---|---|---|
| ПК, DDR5-5600, два канала | системная | 90 | ≤ 18 | ≤ 5 | ≤ 2 |
| RTX 3060 | 12 ГБ | 360 | ≤ 74 | не влезает | не влезает |
| RTX 4060 Ti | 16 ГБ | 288 | ≤ 59 | не влезает | не влезает |
| RTX 3090 / 4090 | 24 ГБ | 936 / 1008 | ≤ 190–210 | ≤ 48–52 | не влезает |
| RTX 5090 | 32 ГБ | 1792 | ≤ 370 | ≤ 92 | не влезает |
| Mac M4 Pro | общая, до 64 ГБ | 273 | ≤ 56 | ≤ 14 | ≤ 6 |
| Mac M4 Max | общая, до 128 ГБ | 546 | ≤ 113 | ≤ 28 | ≤ 13 |
Отсюда видно, почему 4060 Ti с 16 ГБ медленнее 3060: памяти больше, а шина уже. И почему Mac с 128 ГБ запускает 70B, но неспешно.
Сколько это в облаке
Для сравнения: Haiku 5.5 по API — $0,10 за миллион токенов входа («Модели на октябрь 2026»). Своя видеокарта окупается, когда данные нельзя отдавать, когда токенов десятки миллионов в месяц, или когда она уже есть. Уровня флагманов на своём железе не будет: открытые модели, которые влезают в 24 ГБ, ближе к младшим облачным, и разрыв видно на коде и длинных задачах. Насколько он велик, показывают только свои задачи: прогоняем десяток типовых на обеих моделях и сравниваем ответы.