Представь условный ответ о гарантии: производитель якобы даёт три года на все модели. Справка действительно называет три года, но только для одной серии и после регистрации. Коллега переносит ответ в сравнение оборудования, и оба условия исчезают из решения.
Фраза на странице есть, условия другие. Для проверки заведи отдельную строку на каждое утверждение и запиши в ней результат по тексту страницы.
Как проверить ссылку в ответе нейросети?
Из фразы о гарантии выдели срок и перечень моделей. Если нейросеть добавила «автоматически», появляется третье утверждение: нужна ли регистрация.
У каждого тезиса свои условия: срок могут считать с даты покупки, перечень моделей зависит от серии, а регистрацию надо проверить отдельно. Разбей ответ на строки, чтобы совпадение цифры не закрыло все вопросы сразу.
Для каждого тезиса запиши предмет, величину и условия. «У производителя три года гарантии» звучит просто. «Три года с даты покупки на все модели без регистрации» уже можно сверить по правилам производителя.
Если ответ умолчал об условиях, так и пометь: «условие в ответе отсутствует». Тогда в отчёте видно, где уточнение пришло со страницы, а где его добавил проверяющий.
Исследователи Нельсон Лю, Тяньи Чжан и Перси Лян разделяли две задачи: все ли утверждения покрыты ссылками и поддерживает ли сама ссылка утверждение, рядом с которым стоит. Исследование опубликовано в 2023 году и охватывает четыре тогдашние поисковые системы.
Для нашей проверки важно это разделение. Цифры той работы описывают именно её выборку. Привычку задавать вопросы к любым цифрам я разбирал отдельно в статье о проверке галлюцинаций. Здесь задача уже: открыть один источник и проверить его связь с фразой.
Как найти подтверждающий фрагмент?
Начни с поиска по странице. Если цифра редкая, найди её, затем проверь единицы измерения, соседние строки и предмет измерения. У обычной статьи хватит названия раздела и короткого фрагмента. У документа пригодится номер страницы, причём бывает два разных номера: фактическая страница файла и напечатанный внизу лист. В рабочей строке укажи тот, который коллега увидит в своём просмотрщике.
При сравнении версий смотри дату действия самого условия. На странице могли вчера исправить опечатку, хотя тариф на ней относится к прошлому году. И наоборот, документ с ранней датой публикации может содержать приложение с условиями, которые вступают в силу в следующем месяце. Поэтому в журнале нужны две даты: когда открыли страницу и к какому периоду относится факт. Пара таких полей помогает, когда коллега заметил ту же цифру в свежей справке, но собирает ретроспективу за другой период. В строке проверки будет понятно, можно ли сравнить оба значения.
Расположение ссылки тоже надо зафиксировать. Некоторые интерфейсы ставят маркер после конкретного предложения, другие собирают ссылки внизу ответа. Во втором случае подпиши, что фрагмент подобрал ты. Спустя неделю будет видно, где модель явно связала источник и вывод, а где редактор смог найти опору в выданном перечне.
Если документ обновляется без смены адреса, сохрани точный фрагмент с датой просмотра и, когда доступно, номер версии. Например, в справке могут поменять гарантийный срок с трёх лет на два, а ссылка останется прежней. По одной ссылке позднее уже не будет видно, откуда взялась первая цифра.
20 августа в статье этого блога ссылка с подписью «Time Machine, резервное копирование» открывала справку об отслеживании приложениями. Автопроверка была зелёной. Она подтвердила, что адрес живой, но прочитанное на странице не подтверждало подпись. Поэтому в ручной сверке полезно записать оба заголовка, прежде чем искать фрагмент.
Пять исходов проверки
| Результат | Что увидел проверяющий | Что делать с фразой |
|---|---|---|
| Подтверждено | На странице есть тезис с теми же условиями | Использовать с точной ссылкой на фрагмент |
| Подтверждено частично | Срок совпадает, но действует для одной серии | Уточнить условия или разделить утверждение |
| Опоры нет | Страница по теме, тезис в доступном тексте не найден | Искать подтверждение отдельно |
| Противоречит | Источник сообщает другое значение или обратное условие | Исправить тезис или снять его |
| Источник недоступен | Адрес требует доступа, не открывается или ведёт на недоступную страницу | Отметить дату и повторить попытку либо заменить источник |
Иногда по документу можно вычислить число, которого на странице буквально нет. Например, исходная таблица показывает два тарифа, а ответ говорит, во сколько раз один дороже. Тогда сохрани обе исходные цены и формулу. Так коллега сможет перепроверить результат, даже если поменяет правила округления. Если ты вывел число сам, прямо подпиши его как расчёт по источнику.
Бывает, что утверждение передано точно, но сама страница ссылается на неизвестный опрос. Для узкой сверки можно отметить, что нейросеть корректно пересказала страницу, а достоверность исходного опроса пока под вопросом. Для решения о деньгах этого мало. Придётся открыть методику опроса или найти независимый материал, который измеряет тот же показатель.
Как оформить проверку, чтобы её можно было повторить?
Для учебного примера с гарантией запиши две строки. У «три года» выпиши условие регистрации. Справка говорит «только для серии М». Значит, «на все модели» ей противоречит. Если бы справка описывала серию М и ничего не говорила про остальные модели, статус был бы «опоры нет». В исправленном ответе оставь три года для указанной серии при регистрации. Срок для остальных моделей проверь отдельно.
Сохрани оригинальную ссылку из ответа и отдельно конечный адрес страницы. Редирект может вести как на новую версию справки, так и на главную, где нужного текста давно нет. Это частая причина двух разных оценок от коллег. Один открывает сохранённый старый документ, другой идёт по сегодняшней ссылке. В журнале такая разница превращается в понятную запись: в какую дату, по какому адресу и какой текст видели.
Вместо «сайт надёжный» запиши, какой абзац поддерживает какой тезис. Если коллега вынужден повторять поиск с нуля, в журнале не хватает указателя.
Что поручить нейросети при проверке?
Для большого отчёта я бы попросил агента собрать заготовку. Дай ему сам ответ и список ссылок, попроси выписать точные формулировки, искать фрагменты и отмечать условия отдельно. Попроси оставить пустым поле цитаты, если нужный текст недоступен. Присланный результат открой по адресам: агент может дать правдоподобный пересказ, который на странице невозможно найти.
У оценки качества цитирования есть и исследовательские протоколы. В работе Gao и коллег об ALCE качество ссылок проверялось отдельно от правильности и беглости изложения. Для внутреннего отчёта нужен тот же здравый смысл: хороший текст может оказаться плохо подтверждённым. В Prodvig.ai список источников можно читать вместе с сохранённым ответом. Такой формат полезен, когда важно вернуться к исходной формулировке, а не судить по отчётной цифре.
Если ты проверяешь именно сайт бренда, выпиши, о чём свидетельствует ссылка: нейросеть указала страницу среди источников, адрес был виден в ответе или нейросеть прямо посоветовала продукт. Эти ситуации разбираются в статье об упоминаниях и рекомендациях.
Приоритет для длинных ответов
Если ответ используется для внутреннего обсуждения, выбери три фразы, которые коллега скорее всего перенесёт в презентацию. Для ответа покупателю сначала проверь, к кому именно относится предложение и до какой даты действует. Для сравнительного отчёта особенно внимательно смотри на превосходную степень: страница может назвать цену, а в ответе внезапно появляется «самая низкая». Одной цены недостаточно, чтобы проверить сравнение по рынку.
Ошибки в сведениях о компании иногда повторяются. Тогда пригодится отдельная работа по источникам и исправлениям, которую я разобрал в статье о неверных ответах про бренд. На первом проходе сохрани точную ошибочную фразу и ссылку. Из хорошей записи получается конкретная задача: обновить одну страницу, изменить пояснение к таблице или проверить, какая редакция ещё показывает старые условия.
Частые вопросы
Открой ответ, который собираешься переслать. Ты можешь показать коллеге точный абзац под самой важной фразой?
