Коротко
Когда проверка съедает весь выигрыш?
На последнем дне корпоративного обучения разбирали, можно ли поручить агенту регулярный поиск поставщиков, и прозвучало возражение: «Я поняла, но всё равно же его надо перепроверять». И следом: «Если каждый результат проверять, то, похоже, проще даже самой что-то сделать».
Возражение честное, и на сплошной проверке оно верное. Посчитаю на условном примере ежедневной сводки:
| Руками | Нейросеть + сплошная проверка | Нейросеть + выборка | |
|---|---|---|---|
| Сделать | 40 мин | 5 мин | 5 мин |
| Проверить | - | 30 мин | 8 мин |
| Итого в день | 40 мин | 35 мин | 13 мин |
| Выигрыш в день | - | 5 мин | 27 мин |
За месяц из 20 рабочих дней сплошная проверка сэкономит 100 минут. Если первую неделю проверять всё, а следующие три - выборкой, выйдет 25 + 405 = 430 минут, больше семи часов.
Отсюда и ответ на «проще самой»: проще, пока проверяешь всё. Задача - понять, когда можно перестать проверять ответы нейросети целиком. На том занятии я ответил так: первый-второй раз проверите, и если всё чётко, дальше ошибок, скорее всего, не будет, пока не поменяется подход на тех источниках, куда агент ходит. Ниже этот ответ разложен на правила.
Где проверять каждый раз?
Как проверять ответы нейросети, целиком или выборочно, решают по признаку задачи, а не по уровню доверия к модели.
| Признак | Пример | Почему каждый раз |
|---|---|---|
| Ошибка стоит денег или отношений | счёт, договор, письмо клиенту с цифрами | одна неверная строка может обойтись дороже всей сэкономленной работы |
| Действие нельзя отменить | отправка письма, оплата, удаление файлов | исправлять будет уже нечего |
| Задача делается впервые | первый отчёт нового формата | ещё неизвестно, где модель ошибается |
| Поменялся источник | новая выгрузка, другой сайт, другая структура таблицы | шаги агента меняются вместе с источником |
| Результат уходит наружу как факт | публичный отчёт, статья, коммерческое предложение | ошибку увидят все, кто это прочитает |
Последнюю строку легко пропустить. Длинный документ выглядит гладко, и финальную проверку пропускают. Как это заканчивается даже у крупной аудиторской компании, я разбирал в посте про отчёт KPMG с выдуманными ссылками: компания отозвала публичный отчёт про ИИ, когда выяснилось, что большая часть ссылок в нём выдумана или искажена.
А вот где можно довериться без проверки каждого результата: черновик, который ты всё равно прочитаешь, переименование файлов, внутренняя заметка, первый вариант текста. Ошибка там дешёвая и видна сразу. На обучении я сказал осторожнее: иногда, после недели проверок, можно и довериться, когда ошибка мало влияет на результат, а проверка съедает много времени.
Как ловить сами выдумки - отдельная тема, она разобрана в статье нейросеть выдумала данные: как ловить галлюцинации.
Как перейти от сплошной проверки к выборочной?
Похожий порядок есть в документации OpenAI к агенту ChatGPT dots. В пересказе: агент может ошибаться, поэтому важные результаты и их источники стоит просматривать, а первый результат проверить и поправить до того, как расширять поручение. Мой вывод отсюда: сначала проверка, потом доверие.
Первый и второй прогон - целиком
Сверяешь каждую строку с исходником. Цель - не поймать модель, а узнать, где у этой задачи слабые места: даты, единицы измерения, строки с пропусками.
Неделя параллельной проверки
Агент делает задачу каждый день, ты проверяешь каждый результат и записываешь ошибки в одну таблицу: дата, что не так, в какой строке, по какой причине. Для еженедельной задачи вместо недели бери четыре-пять прогонов.
Решение по журналу
Ошибок нет или только косметика - переходишь на выборку. Ошибки повторяются одного типа - допиши правило в промпт и проверяй целиком ещё неделю. Ошибки разные и в важных местах - задача пока остаётся на сплошной проверке.
Выборка каждый раз
Две-три строки руками плюс контрольная сумма: итог, который сходится с цифрой, посчитанной независимо. Это занимает минуты, а не полчаса.
Возврат к сплошной проверке
Поменялась выгрузка, сайт-источник, версия модели или сама задача - снова два прогона целиком. Ошибка нашлась в выборке - тоже.
Журнал ошибок нужен не для отчётности. Через неделю он показывает, на чём держится доверие, например: «за пять прогонов ноль ошибок в суммах, две в датах». С такой записью решение о выборке опирается на факты. Как посчитать сэкономленное время всей командой, разобрано в статье как посчитать эффект от внедрения ИИ.
Проверки на минуты: контрольная сумма, строки, порог
Выборочная проверка работает, когда у результата есть точка, по которой видно, сошлось ли целое. Вот какие проверки я закладываю в упражнения своих рабочих тетрадей:
| Проверка | Как делается | Где работает |
|---|---|---|
| Контрольная сумма | итог сверяется с цифрой, посчитанной независимо: итог протокола расхождений должен сойтись с разницей сальдо двух актов | сверки, своды, протоколы |
| Две-три строки | найти их в исходнике и сравнить руками | сметы, выгрузки, реестры |
| Цифры под выводом | выписать две-три цифры, на которых держится главный вывод, и открыть их источники | исследования, справки, отчёты |
| Правило вместо оценки | вместо «оцени сам» дать порог: «рост больше 10% - реклама дорожает» | классификация, приоритеты, пороги |
Правило с порогом стоит разобрать отдельно. На втором дне того же обучения промпт содержал готовые пороги, и модель ответила, что классифицировала строго по заданным правилам. Участник, который не доверял цифрам, в этом выводе разобрался сам. С порогом проверяешь не «умно ли модель рассудила», а применено ли правило к паре строк.
Пометку сомнений советует и OpenAI в руководстве по промптам для ChatGPT Enterprise: попроси помечать всё, в чём модель не уверена. Тогда проверка начинается с помеченных мест, а не с первой строки.
Как пересчитать один показатель в таблице и сверить его с ответом нейросети, разобрано в статье проверка расчётов нейросети в Excel.
Что делать, если выборка нашла расхождение?
Расхождение - это ещё не ошибка модели. На втором дне обучения тот же участник попросил коллегу точечно сверить заказы по нескольким позициям с исходной таблицей. Сначала в таблице нашлось другое число, и начали искать причину. Потом выяснилось, что смотрели не туда: нужна была колонка фактических заказов в штуках с фильтром по позиции. После этого прозвучало: «Совпадает. Всё, вопросов не имею».
Поэтому порядок такой:
- Проверь себя. Та же колонка, тот же период, тот же фильтр, те же единицы измерения.
- Если расхождение настоящее, покажи его модели точно: строка, твоё число, её число и правило, по которому должно было получиться. Сообщение «здесь ошибка» без адреса может закончиться тем, что модель пересчитает всё заново.
- Запиши в журнал и верни задачу на два прогона сплошной проверки.
- Если ошибка повторилась, допиши правило в промпт или в файл с правилами агента.
Как принести агенту ошибку так, чтобы он починил её с первого раза, разобрано в статье как принести агенту ошибку. А если агент отчитался «готово» о шаге, которого не делал, это другой случай, про него статья агент отчитался, а результата нет.
Правило проверки - одно на команду
Если один сотрудник проверяет всё, а другой ничего, руководитель не может сказать, сколько времени экономит нейросеть и где риск. Достаточно короткой таблицы на страницу: задача, режим проверки, контрольная точка, ответственный.
Запиши её туда, где команда хранит регламенты, и пересматривай, когда меняется выгрузка или сервис.
Если внедряешь нейросети в отделе и хочешь, чтобы такая политика появилась у всех сразу, посмотри корпоративное обучение. Упражнения там собираются на задачах команды, и проверку результата - контрольную сумму, выборку строк - можно заложить в упражнения при согласовании программы.
Частые вопросы
Частые вопросы
Главный вывод
Практический шаг: возьми одну задачу, ответы нейросети по которой ты сейчас проверяешь целиком, и заведи для неё журнал ошибок на неделю. Через пять прогонов будет видно, можно ли переводить её на выборку.