basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Постоянная часть промпта — в начало, под кэш

    Кэш промпта хранит начало запроса на 5 минут (или на час): повторный запрос с тем же началом читает его по цене в 10–40 раз ниже обычного входа и отвечает быстрее. Работает только на совпадении байт в байт, поэтому постоянное — инструменты, системный промпт, документы — ставим в начало, а дату, имя пользователя и вопрос — в конец.

    Как устроено

    [tools][system][документ 80K][история …][новый вопрос]
     └──────── совпало с прошлым запросом ────────┘
               читается из кэша:  0,1× цены входа у Sonnet 5.5, 0,05× у Opus 5.5, 0,025× у Fable 5.1
                                                    └ после метки — обычная цена
    Цена от обычного входа
    запись в кэш на 5 минут 1,25×
    запись на 1 час ("ttl": "1h") 2×
    чтение из кэша 0,1× (Opus 5.5 — 0,05×, Fable 5.1 — 0,025×)

    Каждое чтение продлевает жизнь записи. Пятиминутный кэш окупается со второго запроса: 1,25 + 0,1 = 1,35 против 2 без кэша. Часовой — с третьего.

    Как включить

    {
      "model": "claude-sonnet-5-5",
      "max_tokens": 4096,
      "cache_control": { "type": "ephemeral" },
      "system": "…длинный постоянный промпт…",
      "messages": [ … ]
    }

    cache_control на верхнем уровне сам ставит метку на последний подходящий блок. Точечно — метка на нужном блоке, до четырёх меток в запросе. Начало короче минимума не кэшируется молча: у моделей 5.5 — 512 токенов, у Haiku 4.5 и Opus 4.6 — 4096.

    Что тихо ломает кэш

    • Дата и время в системном промпте. «Сейчас 14:32:07» — каждый запрос с новым началом. Дату — в последнее сообщение.
    • Порядок ключей. JSON инструментов, собранный из словаря без сортировки, может менять порядок.
    • Набор инструментов. Добавили или убрали инструмент — всё после него пересчитывается.
    • Смена модели. Кэш у каждой модели свой.

    Как проверить

    Отправляем тот же запрос дважды за минуту. Во втором ответе usage.cache_read_input_tokens — почти весь вход, input_tokens — только хвост после метки. Ноль в cache_read_input_tokens оба раза — что-то из списка выше меняет начало.

    В чат-приложениях и агентах кэш включён самими приложениями; от нас — не менять без нужды начало разговора и CLAUDE.md посреди сессии.