# Нейросеть всё равно надо проверять? Когда проверять ответы нейросети каждый раз, а когда хватит выборки

Проверять ответы нейросети каждый раз съедает выигрыш. Где сплошная проверка обязательна, как за неделю перейти на выборку и какие проверки занимают минуты.

URL: https://posts.danashkin.ru/guides/kogda-perestat-proveryat-neyroset
Обновлено: 2026-10-29

---

## Коротко

**Главное**

- Проверять ответы нейросети нужно, но не одинаково: где-то каждый раз, где-то выборкой, а где-то можно довериться.
- Каждый раз - там, где ошибка дорогая (счёт, письмо клиенту с цифрами) или необратимая (оплата, удаление файлов). И там, где задача новая (первый отчёт нового формата) или поменялся источник данных (новая выгрузка, другая структура таблицы).
- Выборкой - повторяющуюся задачу той же структуры, когда первые прогоны прошли чисто.
- Довериться можно там, где ошибка дешёвая и сразу заметна: черновик, который ты всё равно прочитаешь.
- Переход от сплошной проверки к выборочной: первый-второй прогон целиком, неделя параллельной проверки с записью ошибок, потом каждый раз две-три строки руками и контрольная сумма. Контрольная сумма - это итог, который должен сойтись с цифрой, посчитанной независимо.

## Когда проверка съедает весь выигрыш?

**Главное**

Если каждый результат проверять целиком, проверка съедает почти всё время, которое сэкономила нейросеть. На повторяющейся задаче выигрыш появляется, когда сплошную проверку сменяет выборочная. В учебном примере ниже это 5 минут в день против 27.

На последнем дне корпоративного обучения разбирали, можно ли поручить агенту регулярный поиск поставщиков, и прозвучало возражение: «Я поняла, но всё равно же его надо перепроверять». И следом: «Если каждый результат проверять, то, похоже, проще даже самой что-то сделать».

Возражение честное, и на сплошной проверке оно верное. Посчитаю на условном примере ежедневной сводки:

| | Руками | Нейросеть + сплошная проверка | Нейросеть + выборка |
|---|---|---|---|
| Сделать | 40 мин | 5 мин | 5 мин |
| Проверить | - | 30 мин | 8 мин |
| Итого в день | 40 мин | 35 мин | 13 мин |
| Выигрыш в день | - | 5 мин | 27 мин |

За месяц из 20 рабочих дней сплошная проверка сэкономит 100 минут. Если первую неделю проверять всё, а следующие три - выборкой, выйдет 25 + 405 = 430 минут, больше семи часов.

Отсюда и ответ на «проще самой»: проще, пока проверяешь всё. Задача - понять, когда можно перестать проверять ответы нейросети целиком. На том занятии я ответил так: первый-второй раз проверите, и если всё чётко, дальше ошибок, скорее всего, не будет, пока не поменяется подход на тех источниках, куда агент ходит. Ниже этот ответ разложен на правила.

## Где проверять каждый раз?

**Главное**

Каждый раз проверяют результат, если ошибка стоит денег или отношений, действие нельзя отменить, задача делается впервые, поменялся источник или результат уходит наружу как факт. В этих пяти случаях выборка может пропустить строку с ошибкой, а цена такого пропуска высокая.

Как проверять ответы нейросети, целиком или выборочно, решают по признаку задачи, а не по уровню доверия к модели.

| Признак | Пример | Почему каждый раз |
|---|---|---|
| Ошибка стоит денег или отношений | счёт, договор, письмо клиенту с цифрами | одна неверная строка может обойтись дороже всей сэкономленной работы |
| Действие нельзя отменить | отправка письма, оплата, удаление файлов | исправлять будет уже нечего |
| Задача делается впервые | первый отчёт нового формата | ещё неизвестно, где модель ошибается |
| Поменялся источник | новая выгрузка, другой сайт, другая структура таблицы | шаги агента меняются вместе с источником |
| Результат уходит наружу как факт | публичный отчёт, статья, коммерческое предложение | ошибку увидят все, кто это прочитает |

Последнюю строку легко пропустить. Длинный документ выглядит гладко, и финальную проверку пропускают. Как это заканчивается даже у крупной аудиторской компании, я разбирал в [посте про отчёт KPMG с выдуманными ссылками](https://t.me/ai_anashkin/909): компания отозвала публичный отчёт про ИИ, когда выяснилось, что большая часть ссылок в нём выдумана или искажена.

А вот где можно довериться без проверки каждого результата: черновик, который ты всё равно прочитаешь, переименование файлов, внутренняя заметка, первый вариант текста. Ошибка там дешёвая и видна сразу. На обучении я сказал осторожнее: иногда, после недели проверок, можно и довериться, когда ошибка мало влияет на результат, а проверка съедает много времени.

Как ловить сами выдумки - отдельная тема, она разобрана в статье [нейросеть выдумала данные: как ловить галлюцинации](/guides/gallyucinacii-neyrosetey-kak-proveryat).

## Как перейти от сплошной проверки к выборочной?

**Главное**

По шагам: первый-второй прогон целиком, неделя параллельной проверки с журналом ошибок, решение по журналу, дальше выборка две-три строки и контрольная сумма. Ошибка в выборке или новый источник возвращают задачу к сплошной проверке.

Похожий порядок есть в документации OpenAI к агенту ChatGPT dots. В пересказе: агент может ошибаться, поэтому важные результаты и их источники стоит просматривать, а первый результат проверить и поправить до того, как расширять поручение. Мой вывод отсюда: сначала проверка, потом доверие.

1. **Первый и второй прогон - целиком**

   Сверяешь каждую строку с исходником. Цель - не поймать модель, а узнать, где у этой задачи слабые места: даты, единицы измерения, строки с пропусками.

2. **Неделя параллельной проверки**

   Агент делает задачу каждый день, ты проверяешь каждый результат и записываешь ошибки в одну таблицу: дата, что не так, в какой строке, по какой причине. Для еженедельной задачи вместо недели бери четыре-пять прогонов.

3. **Решение по журналу**

   Ошибок нет или только косметика - переходишь на выборку. Ошибки повторяются одного типа - допиши правило в промпт и проверяй целиком ещё неделю. Ошибки разные и в важных местах - задача пока остаётся на сплошной проверке.

4. **Выборка каждый раз**

   Две-три строки руками плюс контрольная сумма: итог, который сходится с цифрой, посчитанной независимо. Это занимает минуты, а не полчаса.

5. **Возврат к сплошной проверке**

   Поменялась выгрузка, сайт-источник, версия модели или сама задача - снова два прогона целиком. Ошибка нашлась в выборке - тоже.

Журнал ошибок нужен не для отчётности. Через неделю он показывает, на чём держится доверие, например: «за пять прогонов ноль ошибок в суммах, две в датах». С такой записью решение о выборке опирается на факты. Как посчитать сэкономленное время всей командой, разобрано в статье [как посчитать эффект от внедрения ИИ](/guides/effekt-ot-vnedreniya-ii-kak-poschitat).

## Проверки на минуты: контрольная сумма, строки, порог

**Главное**

Контрольная сумма, две-три строки руками, цифры, на которых держится вывод, и правило с порогом в самом промпте. Плюс пометка модели «нужно проверить», с которой удобно начинать проверку.

Выборочная проверка работает, когда у результата есть точка, по которой видно, сошлось ли целое. Вот какие проверки я закладываю в упражнения своих рабочих тетрадей:

| Проверка | Как делается | Где работает |
|---|---|---|
| Контрольная сумма | итог сверяется с цифрой, посчитанной независимо: итог протокола расхождений должен сойтись с разницей сальдо двух актов | сверки, своды, протоколы |
| Две-три строки | найти их в исходнике и сравнить руками | сметы, выгрузки, реестры |
| Цифры под выводом | выписать две-три цифры, на которых держится главный вывод, и открыть их источники | исследования, справки, отчёты |
| Правило вместо оценки | вместо «оцени сам» дать порог: «рост больше 10% - реклама дорожает» | классификация, приоритеты, пороги |

Правило с порогом стоит разобрать отдельно. На втором дне того же обучения промпт содержал готовые пороги, и модель ответила, что классифицировала строго по заданным правилам. Участник, который не доверял цифрам, в этом выводе разобрался сам. С порогом проверяешь не «умно ли модель рассудила», а применено ли правило к паре строк.

Пометку сомнений советует и OpenAI в руководстве по промптам для ChatGPT Enterprise: попроси помечать всё, в чём модель не уверена. Тогда проверка начинается с помеченных мест, а не с первой строки.

Как пересчитать один показатель в таблице и сверить его с ответом нейросети, разобрано в статье [проверка расчётов нейросети в Excel](/guides/proverit-raschety-neyroseti-v-excel).

## Что делать, если выборка нашла расхождение?

**Главное**

Сначала убедиться, что сравниваешь то же самое: та же колонка, та же дата, тот же фильтр. Если расхождение настоящее - показать модели строку и правило, записать ошибку в журнал и вернуть задачу на сплошную проверку.

Расхождение - это ещё не ошибка модели. На втором дне обучения тот же участник попросил коллегу точечно сверить заказы по нескольким позициям с исходной таблицей. Сначала в таблице нашлось другое число, и начали искать причину. Потом выяснилось, что смотрели не туда: нужна была колонка фактических заказов в штуках с фильтром по позиции. После этого прозвучало: «Совпадает. Всё, вопросов не имею».

Поэтому порядок такой:

1. **Проверь себя.** Та же колонка, тот же период, тот же фильтр, те же единицы измерения.
2. **Если расхождение настоящее, покажи его модели точно:** строка, твоё число, её число и правило, по которому должно было получиться. Сообщение «здесь ошибка» без адреса может закончиться тем, что модель пересчитает всё заново.
3. **Запиши в журнал** и верни задачу на два прогона сплошной проверки.
4. **Если ошибка повторилась**, допиши правило в промпт или в файл с правилами агента.

Как принести [агенту](/concepts/ai-agent) ошибку так, чтобы он починил её с первого раза, разобрано в статье [как принести агенту ошибку](/guides/kak-prinesti-agentu-oshibku). А если агент отчитался «готово» о шаге, которого не делал, это другой случай, про него статья [агент отчитался, а результата нет](/guides/agent-otchitalsya-a-rezultata-net).

## Правило проверки - одно на команду

**Главное**

Когда нейросетью пользуется отдел, политика проверки записывается один раз: какие задачи проверять целиком, какие выборкой, что считать контрольной суммой и кто ведёт журнал. Иначе каждый проверяет по-своему, и выигрыш не складывается.

Если один сотрудник проверяет всё, а другой ничего, руководитель не может сказать, сколько времени экономит нейросеть и где риск. Достаточно короткой таблицы на страницу: задача, режим проверки, контрольная точка, ответственный.

Запиши её туда, где команда хранит регламенты, и пересматривай, когда меняется выгрузка или сервис.

Если внедряешь нейросети в отделе и хочешь, чтобы такая политика появилась у всех сразу, посмотри [корпоративное обучение](https://danashkin.ru/workshop/). Упражнения там собираются на задачах команды, и проверку результата - контрольную сумму, выборку строк - можно заложить в упражнения при согласовании программы.

## Частые вопросы

**Главное**

Спрашивают, сколько строк брать в выборку, что делать после обновления модели и можно ли не проверять, если задача простая.

### Частые вопросы

**Сколько строк брать в выборку?**

Универсального числа нет. Например, в упражнении со сметой это две-три строки, а в упражнении с актами сверки - контрольная сумма. Строки ловят ошибку в логике, сумма показывает, не потерялось ли что-то в целом, и их удобно сочетать. Для таблицы, где каждая строка - деньги, выборки мало, это случай сплошной проверки.

**Модель обновилась - начинать проверку заново?**

Да, но коротко: два прогона целиком. Новая версия может по-другому читать ту же таблицу. Совпало - возвращаешься к выборке.

**Задача простая - её можно вообще не проверять?**

Простота задачи не главное, главное - цена ошибки и заметна ли она. Простое письмо клиенту с одной цифрой проверяется каждый раз. Сложная сводка для себя, которую ты всё равно прочитаешь, может жить на выборке.

## Главный вывод

**Главное**

Режим проверки выбирают по задаче. Сплошная - для дорогих, необратимых, новых и публичных результатов. Выборочная - для повторяющихся, когда неделя проверок прошла чисто.

Практический шаг: возьми одну задачу, ответы нейросети по которой ты сейчас проверяешь целиком, и заведи для неё журнал ошибок на неделю. Через пять прогонов будет видно, можно ли переводить её на выборку.

### Источники

- [Meet dots: проверять важные результаты и первый результат перед расширением поручения, ChatGPT Learn (OpenAI)](https://learn.chatgpt.com/docs/dots)
- [ChatGPT Enterprise Prompting Guide: раздел Improve accuracy, пометка «needs verification», OpenAI Developers](https://learn.chatgpt.com/cookbook/examples/chatgpt/chatgpt_prompt_guide/chatgpt_prompt_guide)