Какую задачу решает
Модель берёт текст и пишет продолжение, которое по смыслу подходит. Если текст — вопрос, продолжение выглядит как ответ. Если в тексте конфиг и вопрос «почему 502», продолжение — разбор конфига. Отсюда весь круг задач: пересказать, перевести, объяснить, написать код, разобрать лог, вытащить поля из письма в JSON, а с инструментами — ещё и выполнить команды.
Где модель сильна
- текст в текст: пересказ, перевод, переписать в другом тоне
- код по описанию, объяснение чужого кода, поиск ошибки по трейсу
- разбор того, что лежит в контексте: лог, конфиг, документ на 300 страниц
- черновик, план, варианты — то, что потом проверяет человек
Где модель слаба
- точные факты, которых нет в контексте: версии, флаги, цены, даты
- счёт и посимвольные операции: сколько букв «р» в слове, сумма столбца
- «сегодня», «последняя версия» — без даты и поиска модель живёт на дате среза
- работа, которую не проверить: правдоподобная ошибка выглядит так же, как правда
Как устроено: один токен за шаг
текст запроса
- Токены
«Проверяем» = П · ровер · яемТекст режется на куски — токены. В русском тексте токен в среднем 3,4 символа, в английском 4,2 (o200k_base, замер на материалах сайта). Модель видит номера токенов, а не буквы. - Контекст
system + история + файлыВсё, что модель учитывает: системный промпт, вся переписка, приложенные файлы, описания инструментов. Памяти между запросами нет — каждый раз всё отправляется заново («Запрос к модели по блокам»). - Модель
миллиарды весовНейросеть-трансформер. Внимание (attention) связывает каждый токен с каждым предыдущим, поэтому модель видит, что «он» в конце абзаца — это контейнер из начала. - Вероятности
«контейнер» 0.41 · «сервис» 0.22 · …На выходе — вероятность для каждого токена словаря (уo200k_baseих около 200 000): каким может быть следующий. - Выбор и повтор
сэмплингБерётся один токен — не всегда самый вероятный, с долей случайности, поэтому один вопрос даёт разные формулировки («Повторяемый ответ»). Токен дописывается в контекст, и всё повторяется: ответ на 1000 токенов — тысяча проходов модели. Отсюда скорость в токенах в секунду и цена выхода выше цены входа.
ответ
Знаний «в базе» нет: то, что модель прочитала при обучении, растворено в весах как статистика «что за чем обычно идёт». Частое — Docker, nginx, Python — она знает хорошо. Редкое — флаг программы на 200 звёзд GitHub — восстанавливает по похожим и может придумать. Это и есть галлюцинация: такое же правдоподобное продолжение, только неверное.
Как модель делают: три стадии
| Стадия | Что происходит | Что это даёт и чем аукается |
|---|---|---|
| Предобучение | модель учится продолжать тексты: триллионы токенов из интернета, книг, кода | знания и язык; дата среза — последнее, что попало в данные |
| Дообучение на диалогах (SFT) | примеры «вопрос — хороший ответ», написанные людьми и моделями | модель отвечает, а не продолжает вопрос следующим вопросом |
| Обучение с подкреплением | оценки ответов людьми и моделями-оценщиками; задачи с проверяемым ответом — тесты кода, математика | вежливость, отказы, умение рассуждать по шагам; побочно — лесть и желание угодить |
Последняя стадия сделала рассуждающие модели: перед ответом модель пишет черновик размышлений, и на задачах с проверяемым ответом это даёт заметный прирост. Размышление — те же выходные токены, за них платим («Размышление — под задачу»).
Чем модели отличаются
| Ось | Что значит | Где смотреть |
|---|---|---|
| Ярус | у каждого вендора есть флагман, средняя и маленькая: Claude Opus и Haiku, Gemini Pro и Flash. Opus 5.5 дороже Haiku 5.5 в 40 раз | «Модели на октябрь 2026» |
| Размышление | думает ли модель перед ответом и сколько: effort от low до max |
«Размышление — под задачу» |
| Окно контекста | сколько токенов помещается в один запрос: у Claude 5.5 — 1M, у локальной модели на 16 ГБ видеопамяти — десятки тысяч | «Длинный разговор», «Сколько памяти нужно модели» |
| Вход | только текст или ещё картинки, PDF, звук, видео | «Задача и модель» |
| Инструменты | умеет ли вызывать функции, искать в интернете, запускать код | «Агенты и инструменты» |
| Дата среза | до какого месяца модель знает мир | «Дата, версии и окружение — в промпт» |
| Где работает | у провайдера по API и в приложении — или на своём железе с открытыми весами | «Модель на своём железе» |
| Скорость | токенов в секунду и задержка до первого токена; маленькие модели быстрее в разы | «Модели на октябрь 2026» |
| Характер | многословие, лесть, как часто отказывается, как держит формат. По таблицам не видно — только на своих задачах | «Проверка в новом чате» |
Бенчмарки сравнивают модели на чужих задачах, и часть тестов попала в обучающие данные. Ориентир по ним — грубый. Решает прогон своих десяти типичных задач на двух-трёх моделях.
Какие модели бывают, кроме языковых
Языковые (LLM)
Текст на вход и выход, у современных — ещё картинки и PDF на вход. Claude, GPT, Gemini, Qwen, DeepSeek.
Генерация картинок
Отдельный класс — диффузионные модели: рисуют из шума по описанию. Текст на картинке и точное число пальцев — их слабые места. Чат-приложения вызывают их как инструмент.
Речь
Распознавание (речь в текст, Whisper и аналоги) и синтез (текст в голос). Голосовой режим чата — связка из них и языковой модели или одна модель со звуком на входе и выходе.
Эмбеддинги
Превращают текст в вектор из сотен чисел так, что близкие по смыслу тексты дают близкие векторы. Основа поиска по смыслу и RAG («Свои данные в модели»).
Классификаторы и реранкеры
Маленькие модели под одну задачу: спам или нет, какой документ из десяти ближе к вопросу. Дешевле LLM в сотни раз и отвечают за миллисекунды.
Чем ещё решают эти задачи
| Как работает | Когда лучше модели | |
|---|---|---|
| Поиск и документация | точный текст из первоисточника | нужен факт: версия, флаг, цена. Модель с поиском — тот же поиск плюс пересказ |
Скрипт, grep, jq, regex |
детерминированно, одинаково на миллионе строк | задача формальная и повторяется: выбрать поле из JSON, посчитать строки |
| Классическое ML | маленькая модель, обученная на своих примерах | тысячи однотипных решений в секунду, нужна предсказуемость |
| Человек | знает контекст, отвечает за решение | цена ошибки высокая, проверить результат нечем |
| Если… | Берём |
|---|---|
| текст, код, разбор документа, черновик, который потом проверим | языковую модель средней ступени, сложное — флагман |
| нужен свежий факт | поиск или модель с поиском, ответ со ссылкой |
| однотипная операция над тысячами строк | скрипт; модель — чтобы этот скрипт написать |
| данные нельзя отдавать провайдеру | открытую модель на своём железе («Модель на своём железе») |
| своя база документов, о которой спрашиваем каждый день | модель плюс поиск по ней — RAG («Свои данные в модели») |
Что получаем и чем платим
Получаем
- Скорость черновика. Compose-файл, скрипт, план миграции — за минуту, а не за час; проверка остаётся за нами.
- Чтение большого объёма. В окно на 1M токенов влезает порядка 3 млн символов русского текста (3,4 символа на токен в
o200k_base; у Claude свой токенизатор) — несколько книг или весь код среднего проекта. - Объяснение под уровень. Можно переспросить пятый раз и попросить объяснить на примере своего конфига.
- Работа с неструктурированным. Письмо, скриншот ошибки, PDF-счёт — в поля JSON, без шаблонов разбора («JSON по схеме»).
Платим
- Правдоподобная ошибка. Выдуманный флаг выглядит так же уверенно, как настоящий. Всё, что идёт на сервер, проверяем действием («Где модели ошибаются»).
- Деньги за токены. Агент за час работы отправляет историю сотни раз: без кэша это десятки долларов («Кэш промпта», «Цена решённой задачи»).
- Данные уходят провайдеру. Всё из чата лежит у него; ключи и пароли туда не кладём («Секреты в чат не кладём»).
- Разные ответы на одно и то же. Случайность выбора токена; повторяемость — только проверками («Повторяемый ответ»).
- Устаревание. Модели и цены меняются раз в несколько месяцев; таблица «Модели на октябрь 2026» стареет первой.
С чего начать
- Языковые модели: как устроены, какие бывают и чем отличаются
- Модели на октябрь 2026: семейства, ярусы, цены и окнаСемейства и ярусы на октябрь 2026: цены за миллион токенов, окна, открытые модели.
- Задача и модель: какой ярус и режим брать под перевод, код, логи и документыПод перевод, код, разбор логов, извлечение данных — какой ярус и режим брать.
- Токены: считаем объём текста и цену запросаЧто такое токен, почему русский дороже английского и как посчитать цену запроса до отправки.
- Запрос к модели по блокам: что уходит в каждом запросе
system, история, инструменты,max_tokens: что уходит модели в каждом запросе. - Длинный разговор: как не упереться в контекст и не потерять договорённостиПочему к концу чата модель тупеет и как переносить работу в новый контекст без потерь.
- Промпт по блокам: контекст, материалы, задача, формат, примерыРоль, материалы, задача, формат, примеры — что писать в каждом блоке и зачем.
- Размышление — под задачу: уровень effort вместо «подумай получше»Когда включать размышление и уровень
effort, сколько оно стоит и когда не помогает. - Где модели ошибаются: промах, причина, что делаемВыдуманные флаги, счёт букв, лесть, устаревшие версии: причина каждого промаха и что делаем.
- Первый запрос к API: ключ мимо истории, curl, ответ и расходКлюч мимо истории,
curl, разбор ответа,stop_reasonиusage, ошибки 429 и 529. - Свои данные в модели: контекст, RAG или дообучениеДокументы в контекст, RAG или дообучение: что выбрать под свою базу знаний.
- Агенты и инструменты: как модель читает файлы и запускает командыКак модель вызывает инструменты, что такое MCP и сколько доступа давать агенту.
- Модель на своём железе: Ollama, API на порту 11434 и веб-интерфейсOllama на компьютере или сервере: модель, API на порту 11434, веб-интерфейс.
- Сколько памяти нужно модели: параметры, кванты, контекст и скоростьСколько гигабайт займёт модель 8B или 70B в кванте Q4 и сколько съест контекст.
- Словарь: термины про языковые модели одной строкойТокен, квант, MoE, RAG, LoRA и ещё полсотни слов — по строке на каждое.
Если не работает
Модель уверенно назвала флаг или опцию, которой нет
- Причина
- Знания модели — статистика по текстам, а не справочник. Правдоподобное продолжение «у похожих программ такой флаг есть» побеждает «не знаю».
- Делаем
- Кладём в контекст документацию или вывод
--helpи просим ответ со ссылкой на строку оттуда («Длинный документ — в начало», «Где модели ошибаются»).
Ответ обрывается на полуслове
- Причина
- Кончился лимит ответа: в API
stop_reasonравенmax_tokens, в чате — свой предел длины ответа. - Делаем
- В API поднимаем
max_tokensи включаем потоковый ответ; в чате пишем «продолжай с места, где оборвалось» («Первый запрос к API»).
К концу длинного чата модель забывает, о чём договорились
- Причина
- Контекст заполнен: ранние сообщения сжаты в пересказ или тонут среди сотни поздних, ошибки и отменённые идеи тоже в контексте.
- Делаем
- Просим конспект решений, открываем новый чат с ним («Длинный разговор», «Новая задача — новый чат»).
Советует синтаксис из старой версии программы
- Причина
- У модели есть дата среза знаний: о том, что вышло позже, она не знает и не знает, что не знает.
- Делаем
- Пишем версию в промпт и даём кусок свежей документации («Дата, версии и окружение — в промпт»).
Соглашается с любой нашей правкой, даже неверной
- Причина
- Модель дообучали на оценках людей, а людям нравится согласие. Отсюда привычка уступать.
- Делаем
- Проверку делаем в новом чате, без нашей версии в контексте, и просим найти ошибки, а не подтвердить («Проверка в новом чате»).
На один и тот же вопрос — разные ответы
- Причина
- Следующий токен выбирается с долей случайности; на новых моделях Claude
temperatureне настраивается вовсе. - Делаем
- Повторяемость даём форматом и проверками, а не надеждой на одинаковый текст («Повторяемый ответ»).