basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Свои данные в модели: контекст, RAG или дообучение

    Модель не знает наших документов, конфигов и заметок. Дать ей их можно четырьмя способами: положить целиком в контекст, искать нужные куски и подкладывать их (RAG), дать агенту искать самому или дообучить модель. Для фактов работают первые три; дообучение меняет стиль и формат, а знания добавляет плохо.

    Какую задачу решает

    Вопрос «какой порт у pulse на web1» или «что решили про бэкапы в прошлом месяце» модель без наших данных не ответит — она угадает. Ответ есть в репозитории конфигов, в заметках, в README. Задача — доставить нужный кусок в контекст до того, как модель начнёт отвечать.

    Как устроен RAG

    RAG (retrieval-augmented generation) — поиск перед ответом: сначала находим куски документов, похожие на вопрос, потом отдаём их модели вместе с вопросом.

    вопрос

    1. Нарезкакуски по 300–800 токеновДокументы режутся на куски — по разделам или абзацам, с небольшим перекрытием, чтобы мысль не обрывалась на границе. Делается один раз и при обновлении документов.
    2. Эмбеддингивектор из сотен чиселКаждый кусок превращается в вектор отдельной моделью эмбеддингов. Близкие по смыслу тексты дают близкие векторы, даже если слова разные: «контейнер не стартует» рядом с «сервис падает при запуске».
    3. Индексpgvector · Qdrant · sqlite-vecВекторы лежат в базе, которая быстро находит ближайшие. Для своих заметок хватает расширения к PostgreSQL или SQLite.
    4. Поиск5–20 ближайших кусковВопрос тоже превращается в вектор, база возвращает ближайшие куски. Часто добавляют поиск по словам (BM25): он находит точные имена — crowdsec-firewall-bouncer, коды ошибок, — которые векторный пропускает.
    5. Ответкуски + вопросНайденные куски кладутся в промпт с источниками, модель отвечает по ним и ссылается на них.

    ответ со ссылками на источник

    Слабое звено — поиск: если нужный кусок не нашёлся, модель ответит по памяти или скажет «нет данных». Поэтому RAG отлаживают, глядя на найденные куски, а не на ответ.

    Четыре способа

    Как работает Сколько данных Цена и сложность
    Всё в контекст документы целиком в запросе или в файлах проекта до сотен тысяч токенов: окно Claude 5.5 — 1M ничего строить не надо; платим за вход каждый раз, кэш снимает до 90% («Кэш промпта»)
    Поиск агентом агент сам ищет grep, читает файлы, идёт по ссылкам («Агенты и инструменты») репозиторий любого размера без индекса; дольше и дороже на один вопрос, зато всегда по свежим файлам
    RAG поиск кусков по смыслу, только они — в контекст тысячи документов, гигабайты индекс, модель эмбеддингов, обновление при изменениях
    Дообучение модель доучивается на наших примерах «вопрос — ответ» сотни и тысячи примеров нужны данные и прогон; меняет манеру, факты держит плохо
    Если… Берём
    документов немного, до нескольких сотен тысяч токенов, спрашиваем о них часто всё в контекст или в файлы проекта, с кэшем
    это репозиторий кода или конфигов агента с поиском: он прочитает свежую версию файла
    база большая и растёт: вики, тикеты, архив почты RAG
    нужен свой стиль, формат ответа или классификация по нашим меткам дообучение — или сначала примеры в промпте («Пример вместо описания»)
    данные нельзя отдавать провайдеру RAG на своём сервере с локальной моделью («Модель на своём железе»)

    Что получаем и чем платим

    Получаем

    • Ответы по нашим фактам. Модель опирается на куски документа, а не на общую память, и может сослаться на источник.
    • Свежесть без переобучения. Обновили документ — обновили индекс, модель та же.
    • Меньше токенов, чем «всё в контекст». В запрос уходят 10 кусков по 500 токенов, а не архив на миллион.

    Платим

    • Поиск промахивается. Не нашёл кусок — модель ответит без него. Это главная причина плохих ответов RAG.
    • Куски без окружения. Абзац «перезапускаем после правки» без заголовка раздела непонятно к чему относится; в каждый кусок добавляют путь и заголовок.
    • Ещё одна система. Индекс, модель эмбеддингов, обновление при правках — всё это надо держать.
    • Русский язык. Модели эмбеддингов, обученные в основном на английском, хуже находят русские тексты — берём многоязычные (например, bge-m3). Насколько лучше — проверяем на своих текстах: десяток вопросов, ответ на которые знаем, и смотрим, находит ли поиск нужный кусок.

    С чего начать

    1. Сначала — без RAG: нужные документы в файлы проекта claude.ai или в контекст. Если хватает — на этом всё.
    2. Для репозитория — агент в редакторе («Агенты и инструменты»): поиск по файлам уже встроен.
    3. Своя база на своём сервере — Ollama («Модель на своём железе») и веб-интерфейс Open WebUI: в нём есть загрузка документов и поиск по ним, без своего кода.
    4. Свой RAG в коде — когда понятно, какие вопросы задаём и где готовые варианты промахиваются.

    Если не работает

    RAG отвечает «в документах об этом нет», хотя есть

    Причина
    Поиск нашёл не те куски: вопрос сформулирован другими словами, документ разрезан посреди мысли, или модель эмбеддингов плохо знает русский.
    Делаем
    Смотрим, какие куски вернул поиск, до ответа модели; добавляем поиск по словам рядом с векторным; берём многоязычную модель эмбеддингов.

    Ответ собран из кусков разных версий документа

    Причина
    В базе лежат и старая, и новая версии, поиск вернул обе.
    Делаем
    Старые версии удаляем из индекса при обновлении; в каждом куске — дата и источник.

    После дообучения модель всё равно путает наши факты

    Причина
    Дообучение на сотнях примеров меняет манеру ответа, а факты из них запоминаются плохо и смешиваются с прежними.
    Делаем
    Факты — через контекст или RAG; дообучение оставляем для формата и стиля.

    Весь архив в контексте — и каждый вопрос стоит как книга

    Причина
    Документы едут целиком в каждом запросе.
    Делаем
    Кэш промпта для постоянной части («Кэш промпта») или RAG, если архив больше нескольких сотен тысяч токенов.