basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Языковые модели: как устроены, какие бывают и чем отличаются

    Языковая модель продолжает текст: по всему, что лежит в контексте, она выбирает следующий токен, потом следующий. Знания размазаны по весам, а не лежат в базе, поэтому модель пишет правдоподобно, а не обязательно верно. Модели отличаются ярусом (цена и сила), размышлением, окном контекста, тем, что принимают на вход, и тем, где работают — у провайдера или на своём железе.

    Какую задачу решает

    Модель берёт текст и пишет продолжение, которое по смыслу подходит. Если текст — вопрос, продолжение выглядит как ответ. Если в тексте конфиг и вопрос «почему 502», продолжение — разбор конфига. Отсюда весь круг задач: пересказать, перевести, объяснить, написать код, разобрать лог, вытащить поля из письма в JSON, а с инструментами — ещё и выполнить команды.

    Где модель сильна

    • текст в текст: пересказ, перевод, переписать в другом тоне
    • код по описанию, объяснение чужого кода, поиск ошибки по трейсу
    • разбор того, что лежит в контексте: лог, конфиг, документ на 300 страниц
    • черновик, план, варианты — то, что потом проверяет человек

    Где модель слаба

    • точные факты, которых нет в контексте: версии, флаги, цены, даты
    • счёт и посимвольные операции: сколько букв «р» в слове, сумма столбца
    • «сегодня», «последняя версия» — без даты и поиска модель живёт на дате среза
    • работа, которую не проверить: правдоподобная ошибка выглядит так же, как правда

    Как устроено: один токен за шаг

    текст запроса

    1. Токены«Проверяем» = П · ровер · яемТекст режется на куски — токены. В русском тексте токен в среднем 3,4 символа, в английском 4,2 (o200k_base, замер на материалах сайта). Модель видит номера токенов, а не буквы.
    2. Контекстsystem + история + файлыВсё, что модель учитывает: системный промпт, вся переписка, приложенные файлы, описания инструментов. Памяти между запросами нет — каждый раз всё отправляется заново («Запрос к модели по блокам»).
    3. Модельмиллиарды весовНейросеть-трансформер. Внимание (attention) связывает каждый токен с каждым предыдущим, поэтому модель видит, что «он» в конце абзаца — это контейнер из начала.
    4. Вероятности«контейнер» 0.41 · «сервис» 0.22 · …На выходе — вероятность для каждого токена словаря (у o200k_base их около 200 000): каким может быть следующий.
    5. Выбор и повторсэмплингБерётся один токен — не всегда самый вероятный, с долей случайности, поэтому один вопрос даёт разные формулировки («Повторяемый ответ»). Токен дописывается в контекст, и всё повторяется: ответ на 1000 токенов — тысяча проходов модели. Отсюда скорость в токенах в секунду и цена выхода выше цены входа.

    ответ

    Знаний «в базе» нет: то, что модель прочитала при обучении, растворено в весах как статистика «что за чем обычно идёт». Частое — Docker, nginx, Python — она знает хорошо. Редкое — флаг программы на 200 звёзд GitHub — восстанавливает по похожим и может придумать. Это и есть галлюцинация: такое же правдоподобное продолжение, только неверное.

    Как модель делают: три стадии

    Стадия Что происходит Что это даёт и чем аукается
    Предобучение модель учится продолжать тексты: триллионы токенов из интернета, книг, кода знания и язык; дата среза — последнее, что попало в данные
    Дообучение на диалогах (SFT) примеры «вопрос — хороший ответ», написанные людьми и моделями модель отвечает, а не продолжает вопрос следующим вопросом
    Обучение с подкреплением оценки ответов людьми и моделями-оценщиками; задачи с проверяемым ответом — тесты кода, математика вежливость, отказы, умение рассуждать по шагам; побочно — лесть и желание угодить

    Последняя стадия сделала рассуждающие модели: перед ответом модель пишет черновик размышлений, и на задачах с проверяемым ответом это даёт заметный прирост. Размышление — те же выходные токены, за них платим («Размышление — под задачу»).

    Чем модели отличаются

    Ось Что значит Где смотреть
    Ярус у каждого вендора есть флагман, средняя и маленькая: Claude Opus и Haiku, Gemini Pro и Flash. Opus 5.5 дороже Haiku 5.5 в 40 раз «Модели на октябрь 2026»
    Размышление думает ли модель перед ответом и сколько: effort от low до max «Размышление — под задачу»
    Окно контекста сколько токенов помещается в один запрос: у Claude 5.5 — 1M, у локальной модели на 16 ГБ видеопамяти — десятки тысяч «Длинный разговор», «Сколько памяти нужно модели»
    Вход только текст или ещё картинки, PDF, звук, видео «Задача и модель»
    Инструменты умеет ли вызывать функции, искать в интернете, запускать код «Агенты и инструменты»
    Дата среза до какого месяца модель знает мир «Дата, версии и окружение — в промпт»
    Где работает у провайдера по API и в приложении — или на своём железе с открытыми весами «Модель на своём железе»
    Скорость токенов в секунду и задержка до первого токена; маленькие модели быстрее в разы «Модели на октябрь 2026»
    Характер многословие, лесть, как часто отказывается, как держит формат. По таблицам не видно — только на своих задачах «Проверка в новом чате»

    Бенчмарки сравнивают модели на чужих задачах, и часть тестов попала в обучающие данные. Ориентир по ним — грубый. Решает прогон своих десяти типичных задач на двух-трёх моделях.

    Какие модели бывают, кроме языковых

    Этот набор

    Языковые (LLM)

    Текст на вход и выход, у современных — ещё картинки и PDF на вход. Claude, GPT, Gemini, Qwen, DeepSeek.

    Генерация картинок

    Отдельный класс — диффузионные модели: рисуют из шума по описанию. Текст на картинке и точное число пальцев — их слабые места. Чат-приложения вызывают их как инструмент.

    Речь

    Распознавание (речь в текст, Whisper и аналоги) и синтез (текст в голос). Голосовой режим чата — связка из них и языковой модели или одна модель со звуком на входе и выходе.

    Эмбеддинги

    Превращают текст в вектор из сотен чисел так, что близкие по смыслу тексты дают близкие векторы. Основа поиска по смыслу и RAG («Свои данные в модели»).

    Классификаторы и реранкеры

    Маленькие модели под одну задачу: спам или нет, какой документ из десяти ближе к вопросу. Дешевле LLM в сотни раз и отвечают за миллисекунды.

    Чем ещё решают эти задачи

    Как работает Когда лучше модели
    Поиск и документация точный текст из первоисточника нужен факт: версия, флаг, цена. Модель с поиском — тот же поиск плюс пересказ
    Скрипт, grep, jq, regex детерминированно, одинаково на миллионе строк задача формальная и повторяется: выбрать поле из JSON, посчитать строки
    Классическое ML маленькая модель, обученная на своих примерах тысячи однотипных решений в секунду, нужна предсказуемость
    Человек знает контекст, отвечает за решение цена ошибки высокая, проверить результат нечем
    Если… Берём
    текст, код, разбор документа, черновик, который потом проверим языковую модель средней ступени, сложное — флагман
    нужен свежий факт поиск или модель с поиском, ответ со ссылкой
    однотипная операция над тысячами строк скрипт; модель — чтобы этот скрипт написать
    данные нельзя отдавать провайдеру открытую модель на своём железе («Модель на своём железе»)
    своя база документов, о которой спрашиваем каждый день модель плюс поиск по ней — RAG («Свои данные в модели»)

    Что получаем и чем платим

    Получаем

    • Скорость черновика. Compose-файл, скрипт, план миграции — за минуту, а не за час; проверка остаётся за нами.
    • Чтение большого объёма. В окно на 1M токенов влезает порядка 3 млн символов русского текста (3,4 символа на токен в o200k_base; у Claude свой токенизатор) — несколько книг или весь код среднего проекта.
    • Объяснение под уровень. Можно переспросить пятый раз и попросить объяснить на примере своего конфига.
    • Работа с неструктурированным. Письмо, скриншот ошибки, PDF-счёт — в поля JSON, без шаблонов разбора («JSON по схеме»).

    Платим

    • Правдоподобная ошибка. Выдуманный флаг выглядит так же уверенно, как настоящий. Всё, что идёт на сервер, проверяем действием («Где модели ошибаются»).
    • Деньги за токены. Агент за час работы отправляет историю сотни раз: без кэша это десятки долларов («Кэш промпта», «Цена решённой задачи»).
    • Данные уходят провайдеру. Всё из чата лежит у него; ключи и пароли туда не кладём («Секреты в чат не кладём»).
    • Разные ответы на одно и то же. Случайность выбора токена; повторяемость — только проверками («Повторяемый ответ»).
    • Устаревание. Модели и цены меняются раз в несколько месяцев; таблица «Модели на октябрь 2026» стареет первой.

    С чего начать

    1. Обзорэта страницаЯзыковые модели: как устроены, какие бывают и чем отличаются
    2. ШпаргалкаМодели на октябрь 2026: семейства, ярусы, цены и окнаСемейства и ярусы на октябрь 2026: цены за миллион токенов, окна, открытые модели.
    3. ШпаргалкаЗадача и модель: какой ярус и режим брать под перевод, код, логи и документыПод перевод, код, разбор логов, извлечение данных — какой ярус и режим брать.
    4. МануалТокены и ценаТокены: считаем объём текста и цену запросаЧто такое токен, почему русский дороже английского и как посчитать цену запроса до отправки.
    5. КонфигAPI моделейЗапрос к модели по блокам: что уходит в каждом запросеsystem, история, инструменты, max_tokens: что уходит модели в каждом запросе.
    6. МануалПромптыДлинный разговор: как не упереться в контекст и не потерять договорённостиПочему к концу чата модель тупеет и как переносить работу в новый контекст без потерь.
    7. КонфигПромптыПромпт по блокам: контекст, материалы, задача, формат, примерыРоль, материалы, задача, формат, примеры — что писать в каждом блоке и зачем.
    8. СоветПромптыРазмышление — под задачу: уровень effort вместо «подумай получше»Когда включать размышление и уровень effort, сколько оно стоит и когда не помогает.
    9. ШпаргалкаГде модели ошибаются: промах, причина, что делаемВыдуманные флаги, счёт букв, лесть, устаревшие версии: причина каждого промаха и что делаем.
    10. МануалAPI моделейПервый запрос к API: ключ мимо истории, curl, ответ и расходКлюч мимо истории, curl, разбор ответа, stop_reason и usage, ошибки 429 и 529.
    11. ОбзорСвои данные в модели: контекст, RAG или дообучениеДокументы в контекст, RAG или дообучение: что выбрать под свою базу знаний.
    12. ОбзорИИ-агентыАгенты и инструменты: как модель читает файлы и запускает командыКак модель вызывает инструменты, что такое MCP и сколько доступа давать агенту.
    13. МануалМодели на своём железеМодель на своём железе: Ollama, API на порту 11434 и веб-интерфейсOllama на компьютере или сервере: модель, API на порту 11434, веб-интерфейс.
    14. ШпаргалкаМодели на своём железеСколько памяти нужно модели: параметры, кванты, контекст и скоростьСколько гигабайт займёт модель 8B или 70B в кванте Q4 и сколько съест контекст.
    15. ШпаргалкаСловарь: термины про языковые модели одной строкойТокен, квант, MoE, RAG, LoRA и ещё полсотни слов — по строке на каждое.
    По дороге пригодятся советы:ПромптыНовая задача — новый чатПромптыОтвет не тот — правим свой вопрос, а не спорим с ответомПромптыНужен определённый вид ответа — показываем пример, а не описываемПромптыПравило в промпте — с причиной вместо капсаПромптыДлинный документ — в начало, вопрос — в конец, ответ — с цитатамиПромптыДата, версии и окружение — в промптО лимитах, цене и версии модели спрашиваем документацию, а не модельПромптыБольшая задача — сначала вопросы и план, потом работаПромптыПроверку — в новом чате, без нашей версии и с просьбой найти ошибкиПароли, ключи и личные данные в чат не кладёмИИ-агентыЧужой текст — данные, а не команды: внедрение промптаПромптыОдинаковый ответ даёт формат и проверка, а не temperature 0API моделейНужен JSON — задаём схему, а не просим «ответь в JSON»Токены и ценаПостоянная часть промпта — в начало, под кэшТокены и ценаНе срочные запросы к API — пакетом за полценыТокены и ценаЦена модели — за решённую задачу, а не за токенПромптыНа каком языке писать промпт: русский дороже на 16% и не хуже по смыслуТокены и ценаПодписка — для работы руками, API — для программ

    Если не работает

    Модель уверенно назвала флаг или опцию, которой нет

    Причина
    Знания модели — статистика по текстам, а не справочник. Правдоподобное продолжение «у похожих программ такой флаг есть» побеждает «не знаю».
    Делаем
    Кладём в контекст документацию или вывод --help и просим ответ со ссылкой на строку оттуда («Длинный документ — в начало», «Где модели ошибаются»).

    Ответ обрывается на полуслове

    Причина
    Кончился лимит ответа: в API stop_reason равен max_tokens, в чате — свой предел длины ответа.
    Делаем
    В API поднимаем max_tokens и включаем потоковый ответ; в чате пишем «продолжай с места, где оборвалось» («Первый запрос к API»).

    К концу длинного чата модель забывает, о чём договорились

    Причина
    Контекст заполнен: ранние сообщения сжаты в пересказ или тонут среди сотни поздних, ошибки и отменённые идеи тоже в контексте.
    Делаем
    Просим конспект решений, открываем новый чат с ним («Длинный разговор», «Новая задача — новый чат»).

    Советует синтаксис из старой версии программы

    Причина
    У модели есть дата среза знаний: о том, что вышло позже, она не знает и не знает, что не знает.
    Делаем
    Пишем версию в промпт и даём кусок свежей документации («Дата, версии и окружение — в промпт»).

    Соглашается с любой нашей правкой, даже неверной

    Причина
    Модель дообучали на оценках людей, а людям нравится согласие. Отсюда привычка уступать.
    Делаем
    Проверку делаем в новом чате, без нашей версии в контексте, и просим найти ошибки, а не подтвердить («Проверка в новом чате»).

    На один и тот же вопрос — разные ответы

    Причина
    Следующий токен выбирается с долей случайности; на новых моделях Claude temperature не настраивается вовсе.
    Делаем
    Повторяемость даём форматом и проверками, а не надеждой на одинаковый текст («Повторяемый ответ»).