Как текст режется на токены
Токенизатор — словарь частых кусков текста. Частое слово — один токен, редкое — несколько, пробел
обычно приклеен к началу слова. Вывод снят js-tiktoken на словаре o200k_base (GPT-6 и GPT-5);
у Claude словарь свой, но устроен так же.
| Текст | Токенов | Как разрезан |
|---|---|---|
Hello, how are you? |
6 | Hello · , · how · are · you · ? |
Привет, как дела? |
6 | Пр · ивет · , · как · дела · ? |
Check from your phone over mobile data. |
8 | по токену на слово и точка |
Проверяем с телефона по мобильному интернету. |
11 | П · ровер · яем · с · телефона · по · мобиль · ному · интернет · у · . |
strawberry |
3 | st · raw · berry |
2026-10-18 |
6 | 202 · 6 · - · 10 · - · 18 |
docker compose up -d |
5 | docker · compose · up · - · d |
Русские слова режутся мельче: окончания и приставки идут отдельными токенами. На большом объёме разница меньше, чем на одной фразе:
| Замер: 34 материала сайта, только текст, без кода | RU | EN |
|---|---|---|
| символов | 31 911 | 33 719 |
токенов, o200k_base (новые модели OpenAI) |
9 332 | 8 072 |
| символов на токен | 3,42 | 4,18 |
| токенов на слово | 1,80 | 1,32 |
токенов, cl100k_base (GPT-4, 2023) |
13 252 | 8 062 |
Тот же смысл по-русски — в 1,16 раза больше токенов на новом словаре и в 1,64 раза — на словаре 2023 года. Новые токенизаторы русский почти догнали; что это значит для выбора языка промпта — «На каком языке писать промпт».
Прикидка без счётчика: страница A4 русского текста (около 1800 знаков) — примерно 530 токенов
на o200k_base; у Claude — больше на 15–20%. Книга на 300 страниц — 160–200 тысяч токенов.
Из чего складывается цена
цена = вход × цена_входа + выход × цена_выхода
↑ всё отправленное: system, история, файлы, инструменты
↑ ответ + размышления (они тоже выход)
| Слагаемое | Что входит | Чем удешевить |
|---|---|---|
| вход | системный промпт, вся история чата, приложенные файлы, описания инструментов, результаты инструментов | кэш: повторный вход в 10–40 раз дешевле, смотря по модели («Кэш промпта») |
| выход | текст ответа | просить коротко; формат JSON вместо прозы («JSON по схеме») |
| размышления | черновик рассуждений перед ответом, даже если он скрыт | ниже effort на простых задачах («Размышление — под задачу») |
| картинки | у Claude — по токену на квадрат 28×28 пикселей: снимок 1000×1000 — 1296 токенов, 4K — до 4784 | обрезаем до нужного куска экрана; больше 2576 пикселей по длинной стороне модели 5.5 всё равно уменьшают |
Считаем
Прикидываем токены своего текста
Для моделей OpenAI счёт точный, для Claude — заниженный на 15–20%, но порядок виден:
mkdir -p ~/tok && cd ~/tok && npm init -y >/dev/null && npm i [email protected] cat > count.mjs <<'EOF' import { getEncoding } from 'js-tiktoken'; import fs from 'node:fs'; const text = fs.readFileSync(process.argv[2], 'utf8'); const tokens = getEncoding('o200k_base').encode(text).length; console.log(`${text.length} символов, ${tokens} токенов, ${(text.length / tokens).toFixed(2)} символа на токен`); EOF node count.mjs ~/site/CLAUDE.md # 19325 символов, 6423 токенов, 3.01 символа на токенЭто инструкция для агента на русском, с путями и командами: 3,01 символа на токен против 3,42 у чистого текста. Код, пути и таблицы режутся мельче прозы.
Считаем точно для Claude — count_tokens
Отдельный адрес API считает вход без генерации: тот же запрос, что пойдёт в работу, но ответа нет. Модель указываем ту же, что будет работать, — у разных поколений разные токенизаторы.
jq -n --rawfile t ~/site/CLAUDE.md \ '{model: "claude-sonnet-5-5", messages: [{role: "user", content: $t}]}' | curl -s https://api.anthropic.com/v1/messages/count_tokens \ -H "x-api-key: $ANTHROPIC_API_KEY" \ -H "anthropic-version: 2023-06-01" \ -H "content-type: application/json" \ -d @- # {"input_tokens":…}Ключ в переменной окружения, а не в команде — как его туда положить, в «Первый запрос к API».
Переводим в деньги
Запрос: 20 000 токенов входа (код и вопрос), 2 000 выхода, размышления включены и заняли ещё 3 000.
Модель Вход Выход (2 000 + 3 000) Итого за запрос Haiku 5.5 ($0,10 / $0,50) $0,002 $0,0025 $0,0045 Sonnet 5.5 ($2 / $10) $0,04 $0,05 $0,09 Opus 5.5 ($4 / $20) $0,08 $0,10 $0,18 Fable 5.1 ($10 / $50) $0,20 $0,25 $0,45 Одиночный запрос дешёвый на любом ярусе. Дорого становится, когда запросов тысячи или история длинная.
Считаем сессию агента — история едет каждый ход
Агент на каждом ходу отправляет всю историю: свои прошлые ответы, вывод команд, прочитанные файлы. Сессия на 40 ходов, история растёт от 15 000 до 150 000 токенов:
вход за сессию ≈ ходы × средняя длина истории = 40 × ~82 000 ≈ 3,3M токенов Sonnet 5.5 без кэша: 3,3M × $2 ≈ $6,60 только за вход с кэшем (чтение $0,20): ≈ $0,66 + запись новых кусков — в разы дешевлеПоэтому агенты держат кэш включённым, а длинную сессию выгоднее разбить на задачи с коротким конспектом между ними («Длинный разговор»).
Сверяем с фактом — usage в ответе
Каждый ответ API приносит счёт:
"usage": { "input_tokens": 1840, "cache_creation_input_tokens": 0, "cache_read_input_tokens": 18200, "output_tokens": 4920 }input_tokens— вход без кэша,cache_read_input_tokens— прочитано из кэша по низкой цене,cache_creation_input_tokens— записано в кэш (дороже обычного входа в 1,25 раза),output_tokens— ответ вместе с размышлениями. Расход за день и месяц — в консоли провайдера, там же ставим лимит трат.
Как проверить
Отправляем один и тот же длинный запрос дважды подряд с кэшем («Кэш промпта»): во втором ответе
cache_read_input_tokens должен быть почти равен входу первого, а input_tokens — маленьким. Если оба
раза cache_read_input_tokens: 0 — кэш не сработал, и платим за вход полную цену.
Если не работает
Счёт за месяц в разы больше, чем «примерно посчитали»
- Причина
- Считали один запрос, а агент или чат каждый раз отправляет всю историю заново: сотый ход несёт в себе 99 предыдущих.
- Делаем
- Считаем по
usageиз ответов, включаем кэш промпта («Кэш промпта»), длинные сессии режем на задачи («Новая задача — новый чат»).
Подсчёт tiktoken не сошёлся с usage у Claude
- Причина
tiktoken— токенизатор OpenAI. У Claude свой: на обычном тексте он даёт на 15–20% больше токенов, на коде и русском — ещё больше.- Делаем
- Для Claude считаем через
count_tokensс той же моделью, что пойдёт в работу.
Перешли на новую модель — токенов стало больше на тех же промптах
- Причина
- У Claude Opus 4.7 и новее другой токенизатор: тот же текст — в 1–1,35 раза больше токенов, чем у Opus 4.6 и старше.
- Делаем
- Пересчитываем бюджет через
count_tokensна новой модели, а не переносим старые цифры.
Модель не может посчитать буквы в слове или путает цифры в длинном числе
- Причина
- Она видит токены, а не буквы:
strawberryдля неё —st,raw,berry, а дата2026-10-18— шесть кусков. - Делаем
- Посимвольное — скрипту; модель пишет скрипт («Где модели ошибаются»).