Агент отчитался «готово», а результата нет: как это ловить

Коротко

Почему агент отчитывается о том, чего не делал?

Первое, что ломает картину мира у новичка: ИИ-агент способен написать «создал файл идея.md и заполнил его» в ситуации, когда файла нет.

Это не злой умысел и не поломка. Языковые модели устроены так, что уверенное утверждение для них дешевле признания «не смог»: исследователи прямо связывают это с тем, как модели обучают и оценивают. Отсюда та самая интонация отличника, с которой агент рапортует о несделанном.

Добавь к этому вторую особенность. Агент работает пакетами: прочитал, подумал, вызвал инструмент, получил ответ. Если на середине пакета что-то оборвалось - лимит, таймаут, отказ в доступе к папке, - в его собственном пересказе шага это часто теряется. Итог он всё равно подведёт.

На обучениях я показываю это упражнением на две минуты. Просим агента создать три файла, потом просим показать содержимое каждого. В половине случаев один из трёх оказывается пустым или не тем.

Отдельная линия той же проблемы - выдуманные факты внутри уже созданного документа. Разбирал её в материале про галлюцинации нейросетей: там речь про содержимое, здесь - про сам факт существования результата.

Что происходит, если отдать все промпты разом?

Расскажу обезличенно, без имён. Участник практикума взял инструкцию, скопировал из неё все промпты одним куском, отправил агенту и написал: разберись.

Дальше две недели он собирал продукт. Страница в браузере, кнопка, подключённые по интерфейсу сторонние сервисы. Одна презентация действительно сгенерировалась. Потом начались таймауты и ошибки, а тестовая презентация на пять слайдов стала висеть по сорок минут.

Он усложнил схему: развёл работу по ролям, чтобы одна часть писала текст, вторая проверяла, третья оформляла. Стало хуже: роли зацикливались и повторяли одно и то же действие по кругу.

Причину нашли за минуту, когда он показал экран. В папке идея не было ни одного файла, только пустая заготовка. В папке архитектура файлы были.

Это и есть диагноз целиком: архитектура написана поверх пустоты. Продукт «работал» ровно потому, что задачу каждый раз выполнял сам чат, а не собранное приложение.

Как проверить шаг за тридцать секунд?

1. Открой папку проекта в обычном проводнике

   Не в чате и не по описанию агента. Глазами, в файловом менеджере, как ты смотришь любую папку с документами.

2. Найди файл, о котором был отчёт

   Название должно совпадать с тем, что сказал агент. Если его нет вообще или он лежит в другом месте, шаг не выполнен.

3. Открой файл и пролистай

   Пустой файл, одна строка заголовка или текст-заглушка - это не результат. Внутри должно быть то, что ты узнаёшь как свою задачу.

4. Скажи агенту, что видишь

   Одна фраза: «в файле только заголовок, содержимого нет, доделай». Дальше можно идти к следующему шагу.

Есть ускоренный вариант для тех, кому лень ходить по папкам: попросить агента показать список созданных файлов с размером и первые строки каждого. Но это компромисс, а не замена. Отчёт о файлах даёт тот же, кто уже один раз ошибся.

Мой рабочий приём такой: я проверяю руками там, где на этом шаге строится следующий, и доверяю отчёту там, где шаг косметический. Идея, архитектура, структура папок - руками всегда. Правка формулировки в готовом тексте - можно и на слово.

Задачи, где эта дыра встречается чаще всего

Закономерность простая: чем меньше визуального результата у шага, тем выше цена доверия на слово. Именно поэтому фазы «идея» и «требования» проваливаются чаще всего, а страницу или кнопку человек проверяет автоматически.

Про то, как принимать уже собранный работающий продукт, у меня есть отдельный разбор про приёмку работы агента без технического бэкграунда. Он про следующую стадию: там код уже есть и вопрос в его качестве.

Как разобрать завал, если он уже случился?

Порядок, который я даю ученикам в такой ситуации:

1. Останови починку. Пока фундамента нет, каждая новая правка добавляет сложности к неработающей конструкции.
2. Попроси агента описать состояние проекта. Формулировка: «пройди по папкам, покажи, какие файлы есть, какие пустые, чего не хватает по структуре». Это даёт карту за минуту.
3. Найди первый пустой узел. Именно первый по порядку, а не самый заметный. Всё, что построено после него, придётся пересматривать.
4. Восстанови его руками, по одному промпту. Дождись файла, открой, прочитай. Только потом следующий.
5. Пересобери то, что стояло сверху. Часто это быстрее, чем кажется: агент переписывает архитектуру поверх нормальной идеи за один заход.

Если правки уже наложились друг на друга и вернуться некуда, помогает механика точек сохранения - как её ставить и как откатываться, я разбирал в материале про откат изменений агента.

Привычка, которая закрывает эту дыру

Соблазн отдать всё сразу понятен. Занятый человек видит двадцать промптов в инструкции и думает: зачем я буду двадцать раз копировать, пусть сделает всё. Логика бизнеса тут работает против тебя: делегирование блоком экономит минуты и стоит недель.

Аналогия из найма. Ты не даёшь новому сотруднику в первый день двадцать задач списком со словами «разберись» - ты даёшь первую, смотришь результат, потом вторую. С агентом ровно так же, только он не постесняется сказать, что всё сделал.

Три правила, которые снимают почти всю проблему:

• Промпты по одному. Дождался ответа, посмотрел файл, пошёл дальше.
• Формулировка с проверяемым итогом. Не «поработай над идеей», а «создай файл идея.md и напиши в него разделы такие-то». Как ставить задачу так, чтобы результат был проверяемым, разбирал в каноне промпта.
• Порядок в папке. Когда файлы лежат по канону, пустой узел видно сразу. Про это есть отдельный материал про гигиену рабочей папки.

Частые вопросы

Главный вывод

Есть фраза, которая точно описывает происходящее: значение имеет не то, в каком чате ты работал, а какие файлы после этого появились и где они лежат.

Если сегодня открыть свой проект и пройти по папкам, находка почти гарантирована: где-то будет пустая заготовка вместо документа. Это нормальная ситуация, а не приговор проекту.

Открой папку проекта прямо сейчас. Есть ли там хоть один файл, о котором агент отчитался, а ты его ни разу не видел?