Какую задачу решает
Вопрос «какой порт у pulse на web1» или «что решили про бэкапы в прошлом месяце» модель без наших данных не ответит — она угадает. Ответ есть в репозитории конфигов, в заметках, в README. Задача — доставить нужный кусок в контекст до того, как модель начнёт отвечать.
Как устроен RAG
RAG (retrieval-augmented generation) — поиск перед ответом: сначала находим куски документов, похожие на вопрос, потом отдаём их модели вместе с вопросом.
вопрос
- Нарезка
куски по 300–800 токеновДокументы режутся на куски — по разделам или абзацам, с небольшим перекрытием, чтобы мысль не обрывалась на границе. Делается один раз и при обновлении документов. - Эмбеддинги
вектор из сотен чиселКаждый кусок превращается в вектор отдельной моделью эмбеддингов. Близкие по смыслу тексты дают близкие векторы, даже если слова разные: «контейнер не стартует» рядом с «сервис падает при запуске». - Индекс
pgvector · Qdrant · sqlite-vecВекторы лежат в базе, которая быстро находит ближайшие. Для своих заметок хватает расширения к PostgreSQL или SQLite. - Поиск
5–20 ближайших кусковВопрос тоже превращается в вектор, база возвращает ближайшие куски. Часто добавляют поиск по словам (BM25): он находит точные имена —crowdsec-firewall-bouncer, коды ошибок, — которые векторный пропускает. - Ответ
куски + вопросНайденные куски кладутся в промпт с источниками, модель отвечает по ним и ссылается на них.
ответ со ссылками на источник
Слабое звено — поиск: если нужный кусок не нашёлся, модель ответит по памяти или скажет «нет данных». Поэтому RAG отлаживают, глядя на найденные куски, а не на ответ.
Четыре способа
| Как работает | Сколько данных | Цена и сложность | |
|---|---|---|---|
| Всё в контекст | документы целиком в запросе или в файлах проекта | до сотен тысяч токенов: окно Claude 5.5 — 1M | ничего строить не надо; платим за вход каждый раз, кэш снимает до 90% («Кэш промпта») |
| Поиск агентом | агент сам ищет grep, читает файлы, идёт по ссылкам («Агенты и инструменты») |
репозиторий любого размера | без индекса; дольше и дороже на один вопрос, зато всегда по свежим файлам |
| RAG | поиск кусков по смыслу, только они — в контекст | тысячи документов, гигабайты | индекс, модель эмбеддингов, обновление при изменениях |
| Дообучение | модель доучивается на наших примерах «вопрос — ответ» | сотни и тысячи примеров | нужны данные и прогон; меняет манеру, факты держит плохо |
| Если… | Берём |
|---|---|
| документов немного, до нескольких сотен тысяч токенов, спрашиваем о них часто | всё в контекст или в файлы проекта, с кэшем |
| это репозиторий кода или конфигов | агента с поиском: он прочитает свежую версию файла |
| база большая и растёт: вики, тикеты, архив почты | RAG |
| нужен свой стиль, формат ответа или классификация по нашим меткам | дообучение — или сначала примеры в промпте («Пример вместо описания») |
| данные нельзя отдавать провайдеру | RAG на своём сервере с локальной моделью («Модель на своём железе») |
Что получаем и чем платим
Получаем
- Ответы по нашим фактам. Модель опирается на куски документа, а не на общую память, и может сослаться на источник.
- Свежесть без переобучения. Обновили документ — обновили индекс, модель та же.
- Меньше токенов, чем «всё в контекст». В запрос уходят 10 кусков по 500 токенов, а не архив на миллион.
Платим
- Поиск промахивается. Не нашёл кусок — модель ответит без него. Это главная причина плохих ответов RAG.
- Куски без окружения. Абзац «перезапускаем после правки» без заголовка раздела непонятно к чему относится; в каждый кусок добавляют путь и заголовок.
- Ещё одна система. Индекс, модель эмбеддингов, обновление при правках — всё это надо держать.
- Русский язык. Модели эмбеддингов, обученные в основном на английском, хуже находят русские тексты — берём многоязычные (например,
bge-m3). Насколько лучше — проверяем на своих текстах: десяток вопросов, ответ на которые знаем, и смотрим, находит ли поиск нужный кусок.
С чего начать
- Сначала — без RAG: нужные документы в файлы проекта claude.ai или в контекст. Если хватает — на этом всё.
- Для репозитория — агент в редакторе («Агенты и инструменты»): поиск по файлам уже встроен.
- Своя база на своём сервере — Ollama («Модель на своём железе») и веб-интерфейс Open WebUI: в нём есть загрузка документов и поиск по ним, без своего кода.
- Свой RAG в коде — когда понятно, какие вопросы задаём и где готовые варианты промахиваются.
Если не работает
RAG отвечает «в документах об этом нет», хотя есть
- Причина
- Поиск нашёл не те куски: вопрос сформулирован другими словами, документ разрезан посреди мысли, или модель эмбеддингов плохо знает русский.
- Делаем
- Смотрим, какие куски вернул поиск, до ответа модели; добавляем поиск по словам рядом с векторным; берём многоязычную модель эмбеддингов.
Ответ собран из кусков разных версий документа
- Причина
- В базе лежат и старая, и новая версии, поиск вернул обе.
- Делаем
- Старые версии удаляем из индекса при обновлении; в каждом куске — дата и источник.
После дообучения модель всё равно путает наши факты
- Причина
- Дообучение на сотнях примеров меняет манеру ответа, а факты из них запоминаются плохо и смешиваются с прежними.
- Делаем
- Факты — через контекст или RAG; дообучение оставляем для формата и стиля.
Весь архив в контексте — и каждый вопрос стоит как книга
- Причина
- Документы едут целиком в каждом запросе.
- Делаем
- Кэш промпта для постоянной части («Кэш промпта») или RAG, если архив больше нескольких сотен тысяч токенов.