Нейросеть бесконечно улучшает текст: когда остановиться и как закончить доработку

Коротко

Почему нейросеть никогда не говорит «текст готов»?

У этого поведения есть название в исследованиях - угодливость. Модели склонны соглашаться с пользователем и подстраивать ответ под то, что он, судя по просьбе, хочет услышать. Просьба «улучши» сообщает модели, что текст плохой, и она соглашается.

Вторая причина проще. В переписке нет точки, где задача объявлена выполненной. Человек пишет «ещё лучше», модель отвечает новой версией, и цикл кончается только усталостью.

На корпоративном обучении для команды селлера закупщица рассказала историю с внешнеторговым контрактом. Она дорабатывала формулировки вместе с нейросетью, и модель раз за разом предлагала новые улучшения. Остановил процесс коллега: всё, хватит, она будет бесконечно это делать. Её вопрос ко мне был точный: в какой момент нужно остановиться?

Критерий готовности пишется до первой правки

Без критерия сравниваются две версии между собой, и новая почти всегда кажется лучше: она свежее, в ней что-то поменялось. С критерием сравнивается версия и задача. Это другой вопрос, и на него есть ответ «да».

Критерий не обязан быть длинным. Для делового письма это может быть одна строка: «Поставщик понимает, что мы просим, к какому сроку и что будет, если не успеет». Если письмо это передаёт, оно готово.

Для истории с внешнеторговым контрактом критерий мог выглядеть так: срок поставки и штраф за просрочку записаны однозначно, понятно, в какой момент риск переходит к покупателю, указан порядок разрешения споров и язык, который имеет приоритет. Четыре пункта. Когда все четыре закрыты, полировка английских формулировок уже не меняет защиту компании, и её можно остановить без сомнений.

Тот же список стоит дать и нейросети. Тогда её просьба о проверке звучит иначе: не «улучши», а «проверь по пяти пунктам и скажи, какие не выполнены». Модель отвечает по пунктам, и если всё выполнено, она так и пишет.

Как сформулировать критерий для договора, письма и поста?

Для договора есть ещё одна граница. Нейросеть помогает найти риски и предложить формулировки, но решение о юридической силе текста принимает юрист. Об этом подробно в статье про нейросети для юристов.

Финальная версия со списком решений для человека

Пример такого запроса для договора:

Это финальный круг. Дай итоговую версию пункта 7 без новых улучшений стиля.
После неё отдельным списком: какие вопросы в этом пункте нельзя решить
формулировкой и нужно решить нам с контрагентом или юристом. Не больше пяти
пунктов, для каждого - в чём развилка и что будет при каждом варианте.

Такой запрос меняет роль модели. Она уже не редактор, который ищет, что поправить, а помощник, который показывает, где кончается её работа. Обычно оказывается, что текст давно готов, а бесконечные правки были попыткой решить словами вопрос, который решается переговорами: например, кто платит за простой на таможне.

Сколько кругов правок достаточно?

Предел в три круга пришёл ко мне из своей работы, а не из теории. В конвейере, который пишет статьи этого блога, автоматическое исправление после проверки качества идёт не больше трёх итераций. Не закрылось за три - статья остаётся черновиком с причиной, и решение принимаю я. В приёмке рабочих задач у меня то же правило, только жёстче: возврат на доработку максимум два раза, дальше разговор.

Почему не больше: к четвёртому кругу правки начинают ходить по кругу. Модель возвращает формулировку, которую сама же убрала два круга назад. Это верный знак, что вопрос не в словах. Похожее зацикливание бывает и у агентов в работе с кодом, о нём я писал в разборе нейросеть зациклилась и повторяет одно и то же.

Когда остановить, если правки стали косметикой?

Проверка простая: прочитай две последние версии и сформулируй одним предложением, чем вторая лучше. Если формулировка получается вида «звучит чуть солиднее», доработка закончилась. Если «во второй закрыт риск штрафа за просрочку» - круг был нужен.

Ещё один сигнал - длина. Каждое «улучши» модель часто понимает как «добавь»: уточнение, оговорку, смягчение. Через пять кругов письмо на абзац превращается в письмо на страницу, и адресат его не дочитает.

Что остаётся за человеком

Это не ограничение конкретного сервиса, а распределение ролей. Нейросеть не знает, насколько ценен поставщик, готова ли компания потерять его ради лучшей цены и как прошёл прошлый разговор с ним. Человек знает. И эти знания редко попадают в переписку с моделью, поэтому её варианты всегда немного абстрактны: они годятся для типового поставщика, а не для того, с которым ты работаешь пятый год.

Удобная схема для любого рабочего текста, хоть с чатом, хоть с ИИ-агентом:

1. Записать критерий готовности.
2. Первый круг: структура и смысл.
3. Второй круг: формулировки.
4. Третий круг: финальная версия и список решений для человека.
5. Решения принимает человек, текст уходит адресату.

Чтобы не объяснять модели одно и то же в каждом чате, критерии для типовых текстов можно вынести в постоянные инструкции. Как это сделать, я разбирал в статье как настроить ChatGPT под себя.

Частые вопросы

Главный вывод

Бесконечная полировка часто прячет нерешённый вопрос по существу. Финальный запрос со списком решений вытаскивает его на свет.

Практический шаг: в следующий раз перед доработкой текста с нейросетью напиши одну строку - каким текст должен стать. И проверяй по ней каждую версию.

Какой текст в твоей работе чаще всего уходит в бесконечные правки?