Как это выглядит
Найти, почему падает сборка, — 30 000 токенов входа (код и лог):
| Вариант | Попыток до верного | Токенов за всё | Цена | Наше время |
|---|---|---|---|---|
| Haiku 5.5 | 4 и подсказка | ~140K вход, 8K выход | ~$0,02 | 20 минут на проверку неверных ответов |
Sonnet 5.5, high |
1–2 | ~60K вход, 10K выход | ~$0,22 | 5 минут |
Opus 5.5, low |
1 | ~30K вход, 3K выход | ~$0,18 | 2 минуты |
Числа попыток — пример, а не замер: у каждой задачи свои. Смысл в том, что цена токенов здесь — центы, а время на проверку неверного ответа — минуты нашей работы.
Как сравнить на своих задачах
- Берём 5–10 типичных задач с известным правильным результатом.
- Прогоняем на двух-трёх вариантах: младшая модель, средняя, флагман на
low. - Считаем по
usage(«Токены») цену до верного ответа и отмечаем, где пришлось переспрашивать. - Для каждого типа задач оставляем самый дешёвый вариант, который решает с первого раза.
Где дёшево правда выгодно
Тысячи однотипных запросов с проверяемым результатом: классификация, извлечение полей, перевод коротких строк. Там ошибка видна автоматически, а разница в 20–40 раз в цене умножается на объём. Там же — пакетная обработка («Не срочные запросы к API — пакетом за полцены») и кэш («Кэш промпта»).