basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN
    СоветИИПромпты

    Одинаковый ответ даёт формат и проверка, а не temperature 0

    Модель выбирает следующий токен с долей случайности, и один вопрос даёт разные формулировки. temperature: 0 этого не убирал полностью даже там, где был, а на Claude Opus 4.7 и новее параметра нет вовсе. Повторяемость получаем жёстким форматом ответа, схемой и проверкой результата скриптом.

    Почему температура не спасает

    • Её больше нет. На Claude Opus 4.7 и новее temperature, top_p и top_k дают 400, на Sonnet 5.5 принимается только значение по умолчанию. У рассуждающих моделей случайность нужна самому размышлению.
    • Ноль — не ноль. Даже при temperature: 0 у других вендоров ответы расходятся: вычисления на видеокарте в пачке с чужими запросами дают чуть разные числа, и на равных вероятностях выбор меняется.
    • Разный текст — не проблема. Проблема — разный смысл или разный вид. Их и закрепляем.

    Что закрепляем вместо

    Что нужно одинаковым Чем
    структура ответа JSON по схеме — output_config.format («JSON по схеме»)
    вид текста пример ответа в промпте («Пример вместо описания»)
    классификация закрытый список меток в схеме: "enum": ["spam", "work", "personal"]
    факт в ответе проверка скриптом: число в ответе сверяем с источником
    итог несколько прогонов и голосование: три раза спрашиваем, берём совпавший ответ

    Где температура живёт

    У моделей OpenAI без размышления, у Gemini и у локальных моделей в Ollama ("options": {"temperature": 0}). Для извлечения данных и классификации там ставят 0–0,2, для текста и идей — около 0,7–1. Но и там решает проверка, а не одинаковый вывод: она ловит неверный ответ, даже если он повторился дважды.