Почему
- Лесть от обучения. Модели дообучали на оценках людей, а согласие люди оценивают выше. Вопрос «хорошо же получилось?» уже подсказывает ответ.
- Своё не видно. В том же контексте модель видит свои рассуждения, которые привели к решению, и повторяет их. Новый контекст — новый взгляд.
- Чья версия — неважно. Подпись «я написал» или «коллега написал» меняет тон проверки. Без подписи — честнее.
Как это выглядит
| Вместо | Пишем в новом чате |
|---|---|
| «Проверь, всё ли правильно?» | «Найди в этом конфиге три самые вероятные причины, почему он сломается при обновлении образа.» |
| «Хороший план?» | «Вот план миграции. Что пойдёт не так первым? Какой шаг без отката?» |
| «Я думаю, причина в DNS. Так?» | «Вот симптомы и логи. Перечисли возможные причины по вероятности.» |
Последний пример — главный: свою гипотезу в вопрос не пишем, иначе модель найдёт ей подтверждение.
Вторая модель
Для того, что идёт на прод, — проверка моделью другого вендора: у Claude, GPT и Gemini разные данные
и разные слабые места, и ошибку одной вторая замечает чаще, чем та же модель второй раз. Решающий
голос всё равно за проверкой действием: запуском, тестом, curl («Защиту сервера проверяем действием»).