basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN
    Тема · ИИ

    Языковые модели

    Как устроены модели, какие бывают, где ошибаются

    Материалов
    8
    Случаев
    13
    Обновлено
    2026-10-13
    Набор · с чего начатьОбзор

    Языковые модели: как устроены, какие бывают и чем отличаются

    Языковая модель продолжает текст: по всему, что лежит в контексте, она выбирает следующий токен, потом следующий. Знания размазаны по весам, а не лежат в базе, поэтому модель пишет правдоподобно, а не обязательно верно. Модели отличаются ярусом (цена и сила), размышлением, окном контекста, тем, что принимают на вход, и тем, где работают — у провайдера или на своём железе.

    Читать обзор
    1. Кто есть кто · ШпаргалкаМодели на октябрь 2026: семейства, ярусы, цены и окнаСемейства и ярусы на октябрь 2026: цены за миллион токенов, окна, открытые модели.
    2. Задача и модель · ШпаргалкаЗадача и модель: какой ярус и режим брать под перевод, код, логи и документыПод перевод, код, разбор логов, извлечение данных — какой ярус и режим брать.
    3. Токены и деньги · Мануализ темы Токены и ценаТокены: считаем объём текста и цену запросаЧто такое токен, почему русский дороже английского и как посчитать цену запроса до отправки.
    4. Запрос по блокам · Конфигиз темы API моделейЗапрос к модели по блокам: что уходит в каждом запросеsystem, история, инструменты, max_tokens: что уходит модели в каждом запросе.
    5. Длинный разговор · Мануализ темы ПромптыДлинный разговор: как не упереться в контекст и не потерять договорённостиПочему к концу чата модель тупеет и как переносить работу в новый контекст без потерь.
    6. Промпт по блокам · Конфигиз темы ПромптыПромпт по блокам: контекст, материалы, задача, формат, примерыРоль, материалы, задача, формат, примеры — что писать в каждом блоке и зачем.
    7. Размышление · Советиз темы ПромптыРазмышление — под задачу: уровень effort вместо «подумай получше»Когда включать размышление и уровень effort, сколько оно стоит и когда не помогает.
    8. Где ошибаются · ШпаргалкаГде модели ошибаются: промах, причина, что делаемВыдуманные флаги, счёт букв, лесть, устаревшие версии: причина каждого промаха и что делаем.
    9. Первый запрос к API · Мануализ темы API моделейПервый запрос к API: ключ мимо истории, curl, ответ и расходКлюч мимо истории, curl, разбор ответа, stop_reason и usage, ошибки 429 и 529.
    10. Свои данные · ОбзорСвои данные в модели: контекст, RAG или дообучениеДокументы в контекст, RAG или дообучение: что выбрать под свою базу знаний.
    11. Агенты · Обзориз темы ИИ-агентыАгенты и инструменты: как модель читает файлы и запускает командыКак модель вызывает инструменты, что такое MCP и сколько доступа давать агенту.
    12. Своё железо · Мануализ темы Модели на своём железеМодель на своём железе: Ollama, API на порту 11434 и веб-интерфейсOllama на компьютере или сервере: модель, API на порту 11434, веб-интерфейс.
    13. Память под модель · Шпаргалкаиз темы Модели на своём железеСколько памяти нужно модели: параметры, кванты, контекст и скоростьСколько гигабайт займёт модель 8B или 70B в кванте Q4 и сколько съест контекст.
    14. Словарь · ШпаргалкаСловарь: термины про языковые модели одной строкойТокен, квант, MoE, RAG, LoRA и ещё полсотни слов — по строке на каждое.

    Советы

    18
    из темы ПромптыНовая задача — новый чатРазговор о Traefik, потом о бэкапах, потом о письме коллеге в одном чате — это контекст, где каждая новая задача тянет за собой хвосты прошлых: чужие файлы, отменённые решения, тон.из темы ПромптыОтвет не тот — правим свой вопрос, а не спорим с ответомЕсли ответ ушёл не туда, исправляем исходное сообщение и отправляем заново, а не пишем «нет, не так» следующей репликой.из темы ПромптыНужен определённый вид ответа — показываем пример, а не описываемОдин пример нужного ответа задаёт длину, тон, детализацию и формат точнее абзаца описания.из темы ПромптыПравило в промпте — с причиной вместо капса«НИКОГДА не меняй порты» новая модель исполнит буквально и шире, чем нужно.из темы ПромптыДлинный документ — в начало, вопрос — в конец, ответ — с цитатамиДокумент на десятки страниц кладём в начало промпта, вопрос — после него, и просим сначала выписать цитаты, на которые опирается ответ.из темы ПромптыДата, версии и окружение — в промптМодель не знает, какое сегодня число, какая версия программы стоит у нас и что вышло после даты среза её знаний.О лимитах, цене и версии модели спрашиваем документацию, а не модельМодель обучали до того, как её выпустили, поэтому о себе она знает меньше, чем о Docker: окно, цену, дату среза, свои возможности и даже имя может назвать неверно.из темы ПромптыБольшая задача — сначала вопросы и план, потом работаПеред большой задачей просим модель не делать, а спросить, чего не хватает, и предложить план.из темы ПромптыПроверку — в новом чате, без нашей версии и с просьбой найти ошибкиМодель склонна соглашаться: в том же чате, где она писала решение или где мы его хвалили, проверка подтвердит его.Пароли, ключи и личные данные в чат не кладёмВсё, что вставлено в чат или прочитано агентом, уходит провайдеру и хранится у него: в истории, в логах, а в бесплатных и потребительских тарифах иногда — в данных для обучения.из темы ИИ-агентыЧужой текст — данные, а не команды: внедрение промптаДля модели наш вопрос и вставленный текст — один поток токенов.из темы ПромптыОдинаковый ответ даёт формат и проверка, а не temperature 0Модель выбирает следующий токен с долей случайности, и один вопрос даёт разные формулировки.из темы API моделейНужен JSON — задаём схему, а не просим «ответь в JSON»«Ответь в формате JSON» иногда даёт JSON в обёртке из пояснений, с лишней запятой или без поля.из темы Токены и ценаПостоянная часть промпта — в начало, под кэшКэш промпта хранит начало запроса на 5 минут (или на час): повторный запрос с тем же началом читает его по цене в 10–40 раз ниже обычного входа и отвечает быстрее.из темы Токены и ценаНе срочные запросы к API — пакетом за полценыРазметить три тысячи заметок, перевести архив, прогнать проверку по всем материалам — это не нужно за секунду.из темы Токены и ценаЦена модели — за решённую задачу, а не за токенДешёвая модель, которой нужно три попытки и наша правка, стоит дороже сильной, решившей с первого раза.из темы ПромптыНа каком языке писать промпт: русский дороже на 16% и не хуже по смыслуТот же текст по-русски — в 1,16 раза больше токенов, чем по-английски, на словаре o200k_base; на словаре 2023 года было в 1,64 раза.из темы Токены и ценаПодписка — для работы руками, API — для программПодписка на чат (claude.ai, ChatGPT, Gemini) — фиксированная сумма в месяц за работу в приложении и агенте, с лимитом сообщений в окне времени.