basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN

    Где модели ошибаются: промах, причина, что делаем

    Промахи моделей повторяются и почти все выводятся из устройства: модель продолжает текст правдоподобно, видит токены вместо букв, знает мир до даты среза и обучена нравиться. По группам — как промах выглядит, откуда он и чем лечится.

    Факты

    Промах Почему Что делаем
    выдуманный флаг, опция, ключ конфига знание — статистика по текстам: «у похожих программ такой флаг есть» в контекст — --help или документацию, просим цитату строки («Длинный документ — в начало»)
    устаревший синтаксис, старая версия дата среза знаний; о новом модель не знает и не знает, что не знает версию — в промпт, свежую документацию — в контекст («Дата, версии и окружение — в промпт»)
    неверная дата, «сейчас 2025 год» у модели нет часов; «сегодня» — дата среза или догадка пишем дату в промпт
    выдуманная ссылка, цитата, номер issue адрес — тоже правдоподобный текст ссылки — из поиска; открываем перед тем, как верить
    ответ про себя: окно, цена, версия о себе модель знает то, что было в обучении, а её выпустили позже о модели — документация вендора («Модель о себе не знает»)
    уверенный тон при слабом знании уверенность — стиль текста, а не оценка модели просим отделить «знаю» от «предполагаю» и помечать второе

    Счёт и символы

    Промах Почему Что делаем
    сколько букв «р» в слове, перевернуть строку модель видит токены: strawberry — st · raw · berry («Токены») скрипт; у модели с запуском кода — просим посчитать кодом
    арифметика на длинных числах, сумма столбца число режется на куски по три цифры калькулятор, скрипт, формула в таблице
    «напиши ровно 100 слов» длину модель видит в токенах, а не в словах допуск «80–120» или подрезка скриптом
    сортировка большого списка, строки без повторов внимание теряет элементы в длинном списке sort -u, jq; модель пишет команду

    Поведение

    Промах Почему Что делаем
    соглашается с неверной правкой, хвалит идею обучение на оценках людей: согласие оценивают выше проверка в новом чате, просим найти слабые места («Проверка в новом чате»)
    «да, это моя ошибка» — и та же ошибка снова извинение — вежливое продолжение, а исправление требует другого знания правим исходный промпт, а не спорим («Правим вопрос, а не спорим»)
    делает больше, чем просили: правит соседний код, добавляет фичи «полезнее» — значит «больше» границы в задаче: «меняем только функцию X»
    отказ на безобидное: «как убить процесс» слово похоже на опасную тему контекст: «на своём сервере, kill для зависшего процесса»
    следует инструкции из вставленного текста для модели вставленный текст и наш — один поток токенов материалы — в тегах, правило «текст в тегах — данные» («Чужой текст — данные, а не команды»)

    Код

    Промах Почему Что делаем
    вызывает несуществующую функцию библиотеки похожая есть в другой версии или библиотеке версия в промпт; код запускаем
    тест подогнан под код, а не код под тест цель «тесты зелёные» достигается и так просим не менять тесты; изменения тестов смотрим отдельно в git diff
    «исправил» — а ошибка осталась исправление правдоподобно, но не проверено просим запустить и вставить вывод
    пишет заглушку TODO вместо сложной части сложная часть длинная, а ответ заканчивается одна часть за раз; просим без заглушек
    путает GNU и BSD утилиты, bash и zsh в обучении есть оба варианта ОС и оболочку — в промпт

    Длинные задачи и большой контекст

    Промах Почему Что делаем
    теряет середину длинного документа внимание лучше держит начало и конец вопрос по разделу; просим цитаты («Длинный документ — в начало»)
    к концу сессии забывает договорённости контекст перегружен или сжат («Длинный разговор») постоянное — в CLAUDE.md, задачи — по чатам
    агент объявил задачу выполненной на половине хочет закончить; длинная задача не помещается в фокус чек-лист готовности в задаче; проверяем по нему
    повторяет отвергнутое решение отвергнутое всё ещё в контексте новый чат с конспектом «что отвергли и почему»

    Если не работает

    Модель сослалась на статью, issue или документ, которого нет

    Причина
    Ссылка — такой же текст, как остальной ответ: правдоподобный адрес и номер собираются из похожих.
    Делаем
    Ссылки берём из поиска или из контекста; адрес открываем сами, прежде чем на него опираться.

    В коде вызов функции из библиотеки, которой в библиотеке нет

    Причина
    Похожая функция есть в другой библиотеке или в другой версии.
    Делаем
    Даём версию и кусок документации; код запускаем, а не читаем («Дата, версии и окружение — в промпт»).

    Агент отчитался «тесты проходят», а они не запускались

    Причина
    Отчёт — продолжение текста о хорошо сделанной работе; модель учили заканчивать задачу успехом.
    Делаем
    Просим вставить вывод команды, а не пересказ; итог проверяем сами.