basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Словарь: термины про языковые модели одной строкой

    Слова, которые встречаются в документации, ценах и обсуждениях моделей, — по группам, с номером материала, где тема разобрана подробно.

    Устройство

    Термин Что значит
    LLM большая языковая модель: нейросеть, которая продолжает текст токен за токеном («Языковые модели»)
    токен кусок текста, единица счёта: в русском в среднем 3,4 символа («Токены»)
    токенизатор словарь кусков и правило резки; у каждого семейства свой
    параметры, веса числа внутри нейросети; 8B — 8 миллиардов
    трансформер архитектура почти всех LLM: слои внимания и полносвязные слои
    внимание (attention) механизм, который связывает каждый токен с каждым предыдущим
    контекст, окно контекста всё, что модель учитывает в одном запросе, и его предел в токенах («Запрос к модели по блокам»)
    инференс работа готовой модели — генерация ответа, в отличие от обучения
    MoE смесь экспертов: на каждый токен работает часть подсетей; 30B-A3B — 3B активных из 30B («Сколько памяти нужно модели»)
    мультимодальная модель принимает не только текст: картинки, PDF, звук
    эмбеддинг вектор из сотен чисел, близкий у близких по смыслу текстов («Свои данные в модели»)

    Обучение

    Термин Что значит
    предобучение (pretraining) обучение предсказывать следующий токен на триллионах токенов текста
    дата среза (knowledge cutoff) последнее, что попало в данные: о более позднем модель не знает («Дата, версии и окружение — в промпт»)
    базовая модель (base) после предобучения: продолжает текст, но не отвечает на вопросы
    instruct, chat-модель дообучена отвечать в диалоге
    SFT дообучение на примерах «вопрос — хороший ответ»
    RLHF обучение с подкреплением по оценкам людей; отсюда вежливость и лесть
    RLAIF, конституционный ИИ то же, но оценивает модель по записанным принципам
    рассуждающая модель обучена писать размышления перед ответом («Размышление — под задачу»)
    дистилляция маленькая модель учится на ответах большой
    дообучение (fine-tuning) доучивание готовой модели на своих примерах («Свои данные в модели»)
    LoRA дешёвое дообучение: учат маленькую добавку к весам, а не все веса

    Запрос и ответ

    Термин Что значит
    системный промпт инструкции для всего разговора, приоритет выше реплик («Запрос к модели по блокам»)
    промпт весь текст запроса; в узком смысле — наша инструкция («Промпт по блокам»)
    few-shot несколько примеров ответа прямо в промпте («Пример вместо описания»)
    сэмплинг выбор следующего токена из вероятностей с долей случайности
    температура, top_p, top_k ручки случайности выбора; на новых Claude убраны («Повторяемый ответ»)
    max_tokens потолок длины ответа, обязательный в API
    stop_reason почему модель остановилась: end_turn, max_tokens, tool_use («Запрос к модели по блокам»)
    effort глубина размышлений у Claude: low … max («Размышление — под задачу»)
    потоковый ответ (streaming) текст приходит кусками по мере генерации
    структурированный вывод ответ строго по JSON-схеме («JSON по схеме»)
    предзаполнение (prefill) начало ответа за модель; на новых Claude отключено
    кэш промпта повторное начало запроса читается в 10–40 раз дешевле («Кэш промпта»)
    пакетная обработка (batch) запросы пачкой с ответом до 24 часов, вдвое дешевле («Не срочные запросы к API — пакетом за полцены»)
    сжатие (compaction) замена старой части истории пересказом при приближении к пределу окна («Длинный разговор»)
    TTFT время до первого токена ответа
    токенов в секунду скорость генерации («Сколько памяти нужно модели»)

    Размер и запуск

    Термин Что значит
    открытые веса (open weights) веса можно скачать и запустить у себя; данные обучения обычно закрыты
    квантование, квант хранение весов меньшим числом бит: Q4_K_M, Q8_0 («Сколько памяти нужно модели»)
    GGUF формат файла модели для llama.cpp и Ollama
    llama.cpp движок запуска моделей на процессоре и видеокарте; на нём работает Ollama
    Ollama программа: скачивает модели, запускает, отдаёт API на 11434 («Модель на своём железе»)
    vLLM сервер для многопользовательского запуска на видеокартах, держит много запросов сразу
    VRAM видеопамять: в неё должна влезть модель с контекстом («Сколько памяти нужно модели»)
    KV-кэш память под контекст, растёт с каждым токеном («Сколько памяти нужно модели»)
    спекулятивное декодирование маленькая модель угадывает токены, большая проверяет пачкой — быстрее

    Данные и поиск

    Термин Что значит
    RAG поиск кусков документов перед ответом и подстановка их в промпт («Свои данные в модели»)
    векторная база хранит эмбеддинги и находит ближайшие: pgvector, Qdrant
    чанк кусок документа для индекса, обычно 300–800 токенов
    реранкер модель, которая пересортировывает найденное по близости к вопросу
    BM25 классический поиск по словам; находит точные имена, которые векторный пропускает
    grounding, цитирование ответ с опорой на источник и ссылкой на место в нём («Длинный документ — в начало»)

    Агенты

    Термин Что значит
    инструмент (tool, function calling) функция, вызов которой модель может попросить («Агенты и инструменты»)
    агент модель с инструментами в цикле «вызов — результат», пока задача не решена
    MCP открытый стандарт подключения инструментов к агентам
    серверный инструмент выполняется у провайдера: поиск в интернете, запуск кода
    субагент агент, которому основной отдаёт часть задачи со своим чистым контекстом
    песочница изолированная среда, где агенту разрешено всё
    CLAUDE.md, AGENTS.md файл с постоянными инструкциями для агента в репозитории («Длинный разговор»)

    Качество и риски

    Термин Что значит
    галлюцинация правдоподобный, но неверный ответ («Где модели ошибаются»)
    лесть (sycophancy) согласие с пользователем вопреки фактам («Проверка в новом чате»)
    внедрение промпта (prompt injection) инструкции, спрятанные во входных данных: странице, файле, письме («Чужой текст — данные, а не команды»)
    джейлбрейк попытка обойти правила модели формулировкой
    отказ (refusal) модель не отвечает по правилам безопасности; в API — stop_reason: refusal
    бенчмарк набор задач для сравнения моделей; часть их могла попасть в обучение
    eval свой набор задач для проверки модели или промпта на своём деле
    загрязнение данных тестовые задачи оказались в обучающих данных, оценка завышена