basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Цена модели — за решённую задачу, а не за токен

    Дешёвая модель, которой нужно три попытки и наша правка, стоит дороже сильной, решившей с первого раза. Сравниваем модели и уровни effort на своих задачах по цене и времени до готового результата — и часто выигрывает сильная модель на низком effort, а не слабая на высоком.

    Как это выглядит

    Найти, почему падает сборка, — 30 000 токенов входа (код и лог):

    Вариант Попыток до верного Токенов за всё Цена Наше время
    Haiku 5.5 4 и подсказка ~140K вход, 8K выход ~$0,02 20 минут на проверку неверных ответов
    Sonnet 5.5, high 1–2 ~60K вход, 10K выход ~$0,22 5 минут
    Opus 5.5, low 1 ~30K вход, 3K выход ~$0,18 2 минуты

    Числа попыток — пример, а не замер: у каждой задачи свои. Смысл в том, что цена токенов здесь — центы, а время на проверку неверного ответа — минуты нашей работы.

    Как сравнить на своих задачах

    1. Берём 5–10 типичных задач с известным правильным результатом.
    2. Прогоняем на двух-трёх вариантах: младшая модель, средняя, флагман на low.
    3. Считаем по usage («Токены») цену до верного ответа и отмечаем, где пришлось переспрашивать.
    4. Для каждого типа задач оставляем самый дешёвый вариант, который решает с первого раза.

    Где дёшево правда выгодно

    Тысячи однотипных запросов с проверяемым результатом: классификация, извлечение полей, перевод коротких строк. Там ошибка видна автоматически, а разница в 20–40 раз в цене умножается на объём. Там же — пакетная обработка («Не срочные запросы к API — пакетом за полцены») и кэш («Кэш промпта»).