basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Токены: считаем объём текста и цену запроса

    Модель читает и пишет токенами — кусками слов. Русский текст в среднем на 16% длиннее в токенах, чем тот же текст по-английски, а платим за каждый токен входа и выхода, включая размышления. Считаем токены своего текста, цену одного запроса и цену работы агента — до того, как придёт счёт.

    Как текст режется на токены

    Токенизатор — словарь частых кусков текста. Частое слово — один токен, редкое — несколько, пробел обычно приклеен к началу слова. Вывод снят js-tiktoken на словаре o200k_base (GPT-6 и GPT-5); у Claude словарь свой, но устроен так же.

    Текст Токенов Как разрезан
    Hello, how are you? 6 Hello · , · how · are · you · ?
    Привет, как дела? 6 Пр · ивет · , · как · дела · ?
    Check from your phone over mobile data. 8 по токену на слово и точка
    Проверяем с телефона по мобильному интернету. 11 П · ровер · яем · с · телефона · по · мобиль · ному · интернет · у · .
    strawberry 3 st · raw · berry
    2026-10-18 6 202 · 6 · - · 10 · - · 18
    docker compose up -d 5 docker · compose · up · - · d

    Русские слова режутся мельче: окончания и приставки идут отдельными токенами. На большом объёме разница меньше, чем на одной фразе:

    Замер: 34 материала сайта, только текст, без кода RU EN
    символов 31 911 33 719
    токенов, o200k_base (новые модели OpenAI) 9 332 8 072
    символов на токен 3,42 4,18
    токенов на слово 1,80 1,32
    токенов, cl100k_base (GPT-4, 2023) 13 252 8 062

    Тот же смысл по-русски — в 1,16 раза больше токенов на новом словаре и в 1,64 раза — на словаре 2023 года. Новые токенизаторы русский почти догнали; что это значит для выбора языка промпта — «На каком языке писать промпт».

    Прикидка без счётчика: страница A4 русского текста (около 1800 знаков) — примерно 530 токенов на o200k_base; у Claude — больше на 15–20%. Книга на 300 страниц — 160–200 тысяч токенов.

    Из чего складывается цена

    цена = вход × цена_входа + выход × цена_выхода
             ↑ всё отправленное: system, история, файлы, инструменты
                                      ↑ ответ + размышления (они тоже выход)
    Слагаемое Что входит Чем удешевить
    вход системный промпт, вся история чата, приложенные файлы, описания инструментов, результаты инструментов кэш: повторный вход в 10–40 раз дешевле, смотря по модели («Кэш промпта»)
    выход текст ответа просить коротко; формат JSON вместо прозы («JSON по схеме»)
    размышления черновик рассуждений перед ответом, даже если он скрыт ниже effort на простых задачах («Размышление — под задачу»)
    картинки у Claude — по токену на квадрат 28×28 пикселей: снимок 1000×1000 — 1296 токенов, 4K — до 4784 обрезаем до нужного куска экрана; больше 2576 пикселей по длинной стороне модели 5.5 всё равно уменьшают

    Считаем

    1. Прикидываем токены своего текста

      Для моделей OpenAI счёт точный, для Claude — заниженный на 15–20%, но порядок виден:

      mkdir -p ~/tok && cd ~/tok && npm init -y >/dev/null && npm i [email protected]
      cat > count.mjs <<'EOF'
      import { getEncoding } from 'js-tiktoken';
      import fs from 'node:fs';
      const text = fs.readFileSync(process.argv[2], 'utf8');
      const tokens = getEncoding('o200k_base').encode(text).length;
      console.log(`${text.length} символов, ${tokens} токенов, ${(text.length / tokens).toFixed(2)} символа на токен`);
      EOF
      node count.mjs ~/site/CLAUDE.md
      # 19325 символов, 6423 токенов, 3.01 символа на токен

      Это инструкция для агента на русском, с путями и командами: 3,01 символа на токен против 3,42 у чистого текста. Код, пути и таблицы режутся мельче прозы.

    2. Считаем точно для Claude — count_tokens

      Отдельный адрес API считает вход без генерации: тот же запрос, что пойдёт в работу, но ответа нет. Модель указываем ту же, что будет работать, — у разных поколений разные токенизаторы.

      jq -n --rawfile t ~/site/CLAUDE.md \
        '{model: "claude-sonnet-5-5", messages: [{role: "user", content: $t}]}' |
      curl -s https://api.anthropic.com/v1/messages/count_tokens \
        -H "x-api-key: $ANTHROPIC_API_KEY" \
        -H "anthropic-version: 2023-06-01" \
        -H "content-type: application/json" \
        -d @-
      # {"input_tokens":…}

      Ключ в переменной окружения, а не в команде — как его туда положить, в «Первый запрос к API».

    3. Переводим в деньги

      Запрос: 20 000 токенов входа (код и вопрос), 2 000 выхода, размышления включены и заняли ещё 3 000.

      Модель Вход Выход (2 000 + 3 000) Итого за запрос
      Haiku 5.5 ($0,10 / $0,50) $0,002 $0,0025 $0,0045
      Sonnet 5.5 ($2 / $10) $0,04 $0,05 $0,09
      Opus 5.5 ($4 / $20) $0,08 $0,10 $0,18
      Fable 5.1 ($10 / $50) $0,20 $0,25 $0,45

      Одиночный запрос дешёвый на любом ярусе. Дорого становится, когда запросов тысячи или история длинная.

    4. Считаем сессию агента — история едет каждый ход

      Агент на каждом ходу отправляет всю историю: свои прошлые ответы, вывод команд, прочитанные файлы. Сессия на 40 ходов, история растёт от 15 000 до 150 000 токенов:

      вход за сессию ≈ ходы × средняя длина истории = 40 × ~82 000 ≈ 3,3M токенов
      Sonnet 5.5 без кэша:   3,3M × $2   ≈ $6,60 только за вход
      с кэшем (чтение $0,20): ≈ $0,66 + запись новых кусков — в разы дешевле

      Поэтому агенты держат кэш включённым, а длинную сессию выгоднее разбить на задачи с коротким конспектом между ними («Длинный разговор»).

    5. Сверяем с фактом — usage в ответе

      Каждый ответ API приносит счёт:

      "usage": {
        "input_tokens": 1840,
        "cache_creation_input_tokens": 0,
        "cache_read_input_tokens": 18200,
        "output_tokens": 4920
      }

      input_tokens — вход без кэша, cache_read_input_tokens — прочитано из кэша по низкой цене, cache_creation_input_tokens — записано в кэш (дороже обычного входа в 1,25 раза), output_tokens — ответ вместе с размышлениями. Расход за день и месяц — в консоли провайдера, там же ставим лимит трат.

    Как проверить

    Отправляем один и тот же длинный запрос дважды подряд с кэшем («Кэш промпта»): во втором ответе cache_read_input_tokens должен быть почти равен входу первого, а input_tokens — маленьким. Если оба раза cache_read_input_tokens: 0 — кэш не сработал, и платим за вход полную цену.

    Если не работает

    Счёт за месяц в разы больше, чем «примерно посчитали»

    Причина
    Считали один запрос, а агент или чат каждый раз отправляет всю историю заново: сотый ход несёт в себе 99 предыдущих.
    Делаем
    Считаем по usage из ответов, включаем кэш промпта («Кэш промпта»), длинные сессии режем на задачи («Новая задача — новый чат»).

    Подсчёт tiktoken не сошёлся с usage у Claude

    Причина
    tiktoken — токенизатор OpenAI. У Claude свой: на обычном тексте он даёт на 15–20% больше токенов, на коде и русском — ещё больше.
    Делаем
    Для Claude считаем через count_tokens с той же моделью, что пойдёт в работу.

    Перешли на новую модель — токенов стало больше на тех же промптах

    Причина
    У Claude Opus 4.7 и новее другой токенизатор: тот же текст — в 1–1,35 раза больше токенов, чем у Opus 4.6 и старше.
    Делаем
    Пересчитываем бюджет через count_tokens на новой модели, а не переносим старые цифры.

    Модель не может посчитать буквы в слове или путает цифры в длинном числе

    Причина
    Она видит токены, а не буквы: strawberry для неё — st, raw, berry, а дата 2026-10-18 — шесть кусков.
    Делаем
    Посимвольное — скрипту; модель пишет скрипт («Где модели ошибаются»).