Устройство
| Термин | Что значит |
|---|---|
| LLM | большая языковая модель: нейросеть, которая продолжает текст токен за токеном («Языковые модели») |
| токен | кусок текста, единица счёта: в русском в среднем 3,4 символа («Токены») |
| токенизатор | словарь кусков и правило резки; у каждого семейства свой |
| параметры, веса | числа внутри нейросети; 8B — 8 миллиардов |
| трансформер | архитектура почти всех LLM: слои внимания и полносвязные слои |
| внимание (attention) | механизм, который связывает каждый токен с каждым предыдущим |
| контекст, окно контекста | всё, что модель учитывает в одном запросе, и его предел в токенах («Запрос к модели по блокам») |
| инференс | работа готовой модели — генерация ответа, в отличие от обучения |
| MoE | смесь экспертов: на каждый токен работает часть подсетей; 30B-A3B — 3B активных из 30B («Сколько памяти нужно модели») |
| мультимодальная модель | принимает не только текст: картинки, PDF, звук |
| эмбеддинг | вектор из сотен чисел, близкий у близких по смыслу текстов («Свои данные в модели») |
Обучение
| Термин | Что значит |
|---|---|
| предобучение (pretraining) | обучение предсказывать следующий токен на триллионах токенов текста |
| дата среза (knowledge cutoff) | последнее, что попало в данные: о более позднем модель не знает («Дата, версии и окружение — в промпт») |
| базовая модель (base) | после предобучения: продолжает текст, но не отвечает на вопросы |
| instruct, chat-модель | дообучена отвечать в диалоге |
| SFT | дообучение на примерах «вопрос — хороший ответ» |
| RLHF | обучение с подкреплением по оценкам людей; отсюда вежливость и лесть |
| RLAIF, конституционный ИИ | то же, но оценивает модель по записанным принципам |
| рассуждающая модель | обучена писать размышления перед ответом («Размышление — под задачу») |
| дистилляция | маленькая модель учится на ответах большой |
| дообучение (fine-tuning) | доучивание готовой модели на своих примерах («Свои данные в модели») |
| LoRA | дешёвое дообучение: учат маленькую добавку к весам, а не все веса |
Запрос и ответ
| Термин | Что значит |
|---|---|
| системный промпт | инструкции для всего разговора, приоритет выше реплик («Запрос к модели по блокам») |
| промпт | весь текст запроса; в узком смысле — наша инструкция («Промпт по блокам») |
| few-shot | несколько примеров ответа прямо в промпте («Пример вместо описания») |
| сэмплинг | выбор следующего токена из вероятностей с долей случайности |
температура, top_p, top_k |
ручки случайности выбора; на новых Claude убраны («Повторяемый ответ») |
max_tokens |
потолок длины ответа, обязательный в API |
stop_reason |
почему модель остановилась: end_turn, max_tokens, tool_use («Запрос к модели по блокам») |
effort |
глубина размышлений у Claude: low … max («Размышление — под задачу») |
| потоковый ответ (streaming) | текст приходит кусками по мере генерации |
| структурированный вывод | ответ строго по JSON-схеме («JSON по схеме») |
| предзаполнение (prefill) | начало ответа за модель; на новых Claude отключено |
| кэш промпта | повторное начало запроса читается в 10–40 раз дешевле («Кэш промпта») |
| пакетная обработка (batch) | запросы пачкой с ответом до 24 часов, вдвое дешевле («Не срочные запросы к API — пакетом за полцены») |
| сжатие (compaction) | замена старой части истории пересказом при приближении к пределу окна («Длинный разговор») |
| TTFT | время до первого токена ответа |
| токенов в секунду | скорость генерации («Сколько памяти нужно модели») |
Размер и запуск
| Термин | Что значит |
|---|---|
| открытые веса (open weights) | веса можно скачать и запустить у себя; данные обучения обычно закрыты |
| квантование, квант | хранение весов меньшим числом бит: Q4_K_M, Q8_0 («Сколько памяти нужно модели») |
| GGUF | формат файла модели для llama.cpp и Ollama |
| llama.cpp | движок запуска моделей на процессоре и видеокарте; на нём работает Ollama |
| Ollama | программа: скачивает модели, запускает, отдаёт API на 11434 («Модель на своём железе») |
| vLLM | сервер для многопользовательского запуска на видеокартах, держит много запросов сразу |
| VRAM | видеопамять: в неё должна влезть модель с контекстом («Сколько памяти нужно модели») |
| KV-кэш | память под контекст, растёт с каждым токеном («Сколько памяти нужно модели») |
| спекулятивное декодирование | маленькая модель угадывает токены, большая проверяет пачкой — быстрее |
Данные и поиск
| Термин | Что значит |
|---|---|
| RAG | поиск кусков документов перед ответом и подстановка их в промпт («Свои данные в модели») |
| векторная база | хранит эмбеддинги и находит ближайшие: pgvector, Qdrant |
| чанк | кусок документа для индекса, обычно 300–800 токенов |
| реранкер | модель, которая пересортировывает найденное по близости к вопросу |
| BM25 | классический поиск по словам; находит точные имена, которые векторный пропускает |
| grounding, цитирование | ответ с опорой на источник и ссылкой на место в нём («Длинный документ — в начало») |
Агенты
| Термин | Что значит |
|---|---|
| инструмент (tool, function calling) | функция, вызов которой модель может попросить («Агенты и инструменты») |
| агент | модель с инструментами в цикле «вызов — результат», пока задача не решена |
| MCP | открытый стандарт подключения инструментов к агентам |
| серверный инструмент | выполняется у провайдера: поиск в интернете, запуск кода |
| субагент | агент, которому основной отдаёт часть задачи со своим чистым контекстом |
| песочница | изолированная среда, где агенту разрешено всё |
CLAUDE.md, AGENTS.md |
файл с постоянными инструкциями для агента в репозитории («Длинный разговор») |
Качество и риски
| Термин | Что значит |
|---|---|
| галлюцинация | правдоподобный, но неверный ответ («Где модели ошибаются») |
| лесть (sycophancy) | согласие с пользователем вопреки фактам («Проверка в новом чате») |
| внедрение промпта (prompt injection) | инструкции, спрятанные во входных данных: странице, файле, письме («Чужой текст — данные, а не команды») |
| джейлбрейк | попытка обойти правила модели формулировкой |
| отказ (refusal) | модель не отвечает по правилам безопасности; в API — stop_reason: refusal |
| бенчмарк | набор задач для сравнения моделей; часть их могла попасть в обучение |
| eval | свой набор задач для проверки модели или промпта на своём деле |
| загрязнение данных | тестовые задачи оказались в обучающих данных, оценка завышена |