Как проверить ответ нейросети по регламенту

Ответ нейросети по регламенту проверяй по полному правилу, включая условия, исключения и действующую редакцию. В учебном документе написано: «Возврат складских позиций принимается в течение десяти дней при сохранении упаковки. Товары под заказ согласуются отдельно». Нейросеть отвечает: «Любой товар можно вернуть в течение десяти дней» - и ссылается на этот абзац.

Ссылка ведёт куда нужно, число взято из файла. Но при пересказе пропали вид товара, условие об упаковке и исключение для заказа. Правило здесь вымышленное: это пример проверки чтения, а не образец условий возврата или правовая рекомендация.

Как проверить, что цитата подтверждает весь ответ?

В нашем примере проверка даёт такие расхождения:

Выдели одно утверждение. Если для ответа приходится додумывать, что правило относится и к другим товарам или действует без упаковки, пометь это как вывод модели. Не используй такой вывод в рабочем ответе, пока человек, отвечающий за регламент, не подтвердит его.

В NotebookLM, который русская справка Google сейчас называет Gemini Notebook, можно перейти по цитате и проверить контекст. Такое действие описано в справке чата Google. Если сервис показывает источник целиком, нужное основание придётся найти внутри него. Удобный переход сокращает поиск, но читать фрагмент и сопоставлять его с вопросом всё равно нужно.

Если нужен обзор самого инструмента, он есть в статье о NotebookLM для бизнеса. Проверка основания пригодится и в другом сервисе, где можно открыть исходный текст.

Подготовь документы одной задачи и проверь импорт

Начни с действующего положения и связанных с ним документов, обработку которых разрешает компания. Для первого упражнения подойдёт несекретный учебный набор. Весь архив отдела не поможет, если в нём непонятно, что действует, а что осталось проектом.

В названиях или описании источников укажи тему, редакцию и статус: действует, заменён, проект. При подборе файлов через ИИ-агента проверь этот перечень до подготовки ответа. Если статус неизвестен, так и напиши. Документ с более свежей датой может быть неутверждённым проектом, поэтому сортировка по времени не задаёт приоритет правил.

После загрузки открой источник и найди знакомый абзац. Если ответ зависит от изображения, приложения или комментария, проверь доступность именно этого содержания. В справке импорта Google указано, что сноски и комментарии файлов Google не импортируются, поэтому проверить ответ по ним внутри этого набора не получится.

Источник может быть копией или синхронизированной версией. Проверь способ обновления своего типа файла и то, какая редакция сейчас открыта. Для исходников со сканами отдельно проверь распознавание; подготовка таких файлов разобрана в статье о форматах документов.

Какие три вопроса выявляют ошибки работы по документам?

Правило есть в документе. Спроси о сроке для складской позиции с сохранённой упаковкой. Ожидаемый ответ в учебном примере - 10 дней с сохранением условия. Попроси название документа и цитату, затем открой её и проверь самостоятельно.

Правила нет. Спроси: «Сколько дней даётся на возврат товара под заказ?» Наш документ не устанавливает число. Ответ должен сохранить необходимость отдельного согласования. Перенос десятидневного срока из соседнего предложения покажет ошибку, даже если рядом стоит ссылка.

Редакции расходятся. Для учебной проверки возьми старую инструкцию с 10 днями и новый проект с 14. Явно подпиши статусы и спроси, какой срок действует и на каком основании. Пока нет сведений о вступлении проекта в силу, нельзя автоматически выбрать 14 дней. Модель должна показать конфликт, который затем нужно уточнить у ответственного человека.

Если приказ прямо заменяет пункт старого положения, укажи это основание и проверь, применила ли модель заданный приоритет. После уточнения обнови набор источников. Не рассчитывай, что устная поправка из прошлого разговора всегда будет учитываться при следующем ответе.

Отсутствие правила показывает, какой вопрос требует решения человека. Для списка запросов сохраняй отдельный перечень пробелов и противоречий, чтобы они не потерялись в общей сводке.

Такую проверку можно отработать всей командой на документах, разрешённых для использования в выбранном сервисе. На моих корпоративных обучениях по ИИ работа с файлами и документами входит в программу, а задания подбираются под задачи участников.

Получи ответ с основанием и только потом готовь письмо

Сначала можно запросить такую структуру:

Ответь по выбранным документам. Для каждого положения укажи документ, редакцию или статус и цитату, которая подтверждает всё утверждение вместе с условиями. Исключения перечисли отдельно.

Если правила нет, так и напиши. Не переноси срок или условие из соседнего случая. Если документы расходятся, покажи обе формулировки и основание выбора действующей. При неизвестном статусе сохрани конфликт в ответе.

Свои предложения и выводы вынеси отдельно от текста документов. Не требую ответа на каждый вопрос: сведения могут отсутствовать или противоречить друг другу.

Цитата передаёт фрагмент, пересказ должен сохранять его смысл, а вывод добавляет рассуждение. Прежде чем превращать ответ нейросети по регламенту в письмо клиенту, проверь эти части: при сокращении легче потерять исключение. Отдельный сценарий такой переписки есть в статье об ответах покупателям.

После проверки сохрани вопрос, название действующей редакции, подтверждающий фрагмент и дату. Необязательно хранить весь разговор. Такая запись позволит понять, почему правило применили именно так, и найти ответы для пересмотра после обновления регламента.

Для регулярно используемого набора назначь человека, который следит за актуальностью документов. Старые редакции можно оставлять в архиве, но перед каждым новым ответом должно быть понятно, участвуют ли они в поиске и по какому правилу разрешаются противоречия.