Дмитрий Анашкин

Как проверить ИИ-поиск по базе знаний до запуска на всю команду

Опубликовано 21 нояб. 2026 г.8 мин чтенияНачальный
Как проверить ИИ-поиск по базе знаний до запуска на всю команду
Туториал
Как проверить ИИ-поиск по базе знаний до запуска на всю команду
Дмитрий Анашкин · 8 мин
Чему вы научитесь
  • Собрать контрольные вопросы из разных рабочих ситуаций
  • Различить сбой поиска и ошибку ответа по фрагменту
  • Проверить конфликт версий, нехватку данных и границы доступа
Начальный

Ссылка есть. Ответ старый.

Новый помощник ищет по инструкциям компании. На демонстрации он красиво отвечает, где взять шаблон заявки. Потом сотрудник спрашивает, кто согласует исключение. Ссылка ведёт в старую инструкцию. Ответ звучит убедительно, хотя после изменения процесса согласовывает другой человек.

Из чего складывается ИИ-поиск по базе знаний

Такой помощник может искать по базе знаний и составлять ответ по найденным фрагментам. Подход называют RAG. Проще всего представить две операции: сначала подобрать страницы к вопросу, затем объяснить их человеку.

Если система достала старую страницу, хороший пересказ не исправит ошибку. Если нашла свежую страницу, но забыла про исключение в конце, это другая проблема. Признак сбоя можно записать в таблицу и отдать тому, кто отвечает за нужную часть.

Про формат ответа со ссылками я писал в разборе NotebookLM для бизнеса. При приёмке важно посмотреть, что именно находится за ссылкой. Документ может называться «Правила доступа», но открываться на главной странице, где нужного условия нет.

Проверяющему нужен точный раздел или цитата, которую он может быстро найти. Если интерфейс показывает, какие фрагменты переданы модели, сохрани их вместе с ответом. Если виден только список ссылок, так и запиши: проверен внешний результат, порядок поиска неизвестен.

Какие вопросы взять для первого прогона?

Возьми один процесс, где ответ влияет на действие. Например, внутреннюю заявку на участие в выставке. Владелец процесса знает, какие документы действуют, кто согласует и где лежит шаблон.

Из переписки команды возьми обезличенные формулировки, которыми задачу описывают сотрудники. «Как подать заявку на мероприятие?» и «Что заполнить, если отдел едет на выставку?» могут относиться к одному процессу. Вторая формулировка показывает, понимает ли помощник рабочую речь людей.

Собери таблицу. Для каждого вопроса запиши ожидаемый результат, источник, дату или роль, если они меняют ответ, и критичность ошибки. Эталон может быть в виде обязательных пунктов. Для фразы «кто согласует» хватит роли и условия. Если человек спрашивает «где взять форму», проверка должна требовать правильную ссылку, которую он может открыть.

Договорись, кто утверждает эталон. Специалист по настройке поиска знает, что попало в индекс. Владелец процесса знает, по какой инструкции сегодня работают. Для сложного случая попроси его назвать причину: «Эта редакция действовала до пятого числа, смотри новую». Тогда в следующем прогоне проверяющий не перепутает дату публикации документа с датой вступления его в силу.

Учебный пример с двумя редакциями

Представь, что инструкция «Заявки на выставки» в редакции 1 отправляла все заявки начальнику отдела. В редакции 2, вступившей в силу 1 ноября 2026 года, обычную заявку согласует руководитель направления, а заявку после внутреннего срока дополнительно согласует координатор. Документы и цифры здесь учебные.

В базе может быть сохранён архив для разбора старых случаев, так что удалять редакцию 1 ради теста незачем. Проверь, что обе версии помечены так, чтобы система и сотрудник могли понять область действия.

Контрольный вопросЧто засчитатьГде искать подтверждение
Кто согласует обычную заявку 12 ноября 2026 года?Руководитель направленияРедакция 2, обычный порядок
Срок подачи был 10 ноября 2026 года. Кого ещё позвать при подаче 12 ноября?Координатора в дополнение к обычному согласованиюРедакция 2, исключение
Кто согласовывал заявку 20 октября 2026 года?Начальник отделаРедакция 1, исторический период
Сколько рабочих дней займёт согласование?Срок в базе не указан, назвать владельца процесса, если он указанВ инструкциях нет обещанного срока

Проверь ещё формулировку «к кому идти с заявкой сейчас?». Если в тесте даты важны, запиши дату прогона и ожидаемую редакцию. После следующей смены порядка вопрос останется, эталон обновится. Для вопроса про октябрь оставь дату прямо в запросе, чтобы у проверяющего был стабильный исторический случай.

Когда источник говорит «координатор дополнительно согласует», в эталоне должны остаться оба этапа. Ссылка на правильную инструкцию при ответе «идти только к координатору» помогает найти ошибку, но не делает ответ пригодным для работы. В этом сценарии человек отнесёт заявку не тому участнику. Такая проверка полезнее общего впечатления о тексте.

Как отличить плохой поиск от плохого ответа?

Открой список найденных фрагментов, если инструмент показывает его. Для случая с опоздавшей заявкой ищи абзац про дополнительное согласование. Если он отсутствует, попробуй прямой запрос по названию документа.

Не находится даже так? Проверь, загрузилась ли нужная редакция и распозналась ли страница. Если по прямому запросу страница есть, а по рабочему вопросу исчезает, проверь поисковые формулировки, структуру базы и признаки актуальности.

Когда нужный фрагмент найден, сравни ответ по словам, от которых зависит действие. В нашем примере это «дополнительно» и «после внутреннего срока». Иногда помощник правдоподобно смешивает фрагменты обеих версий.

В журнале ошибок запиши это отдельной категорией: система увидела обе редакции и выбрала условия из разных дат. После исправления повтори и текущий, и исторический вопрос. Усиление приоритета свежей версии может неожиданно сломать поиск о прошлом.

В документации Microsoft релевантность найденного контекста оценивается отдельно от обоснованности ответа найденными фрагментами (groundedness). Ответ может опираться на найденный документ, но всё равно ошибиться, если поиск вернул старую редакцию. Для первого приёмочного прогона эту же логику можно перенести в обычную таблицу. Укажи ожидаемый источник, фактически найденный фрагмент и отдельно поставь отметку по ответу.

Если рабочий интерфейс показывает только ответ, не угадывай, что было внутри. Зафиксируй симптом и попроси техническую команду проверить по своим данным.

Дай ошибке имя

«Ответ плохой» не подсказывает следующий шаг. «Правило найдено, но потеряно слово “дополнительно”» уже позволяет проверить конкретное изменение.

Как проверить отсутствие ответа и границы доступа?

Вопрос «сколько рабочих дней займёт согласование?» в учебном примере не должен превращаться в обещание трёх дней. Хороший ответ сообщает, что срок в найденных документах не указан. Если владелец процесса известен из источника, можно дать направление, где уточнить. В эталоне зафиксируй, какие числа нельзя выдавать за правило. Так результат можно проверить без спора о стиле отказа.

Для проверки ролей можно взять учебный документ с условным кодом отдела. Под учётной записью, которой доступ разрешён, ответ должен соответствовать документу. Под второй тестовой учётной записью, у которой нет доступа к документу, помощник не должен раскрыть содержимое или значение кода. Открой тест в отдельном сеансе.

Проверь, какие документы видны самой роли, и зафиксируй их как условия прогона. Если видимость нарушена, останови расширение доступа и передай конкретный результат владельцу системы. Для упражнения используй вымышленные значения. О том, как выбрать данные для первого испытания, подробнее в статье о документах компании и нейросетях.

Критерии приёмки и повторный прогон

Я бы начал с небольшой таблицы и назначил владельца каждому провалу. Десять вопросов дают первую картину ошибок, а доля верных ответов относится только к этой проверке. Даже при результате девять из десяти посмотри на единственный провал. Если помощник неверно назвал срок или раскрыл закрытый документ, общая доля не снимает причину остановить запуск.

Задай порог заранее. Например, на учебном наборе выпуск требует не меньше девяти корректных ответов из десяти и нуля раскрытий закрытого документа, выдуманных сроков и ответов по инструкции, уже отменённой на запрошенную дату. Разметь такие ошибки до прогона, как при приёмке работы подрядчика по ИИ. Тогда один красивый показ не заменит проверку.

Если ИИ-поиск по базе знаний входит в состав ИИ-агента, проверь и его действия. Когда агент умеет создавать заявку, открой тестовую копию и убедись, что пользователю показывается шаг подтверждения перед записью. На раннем пилоте удобно ограничиться поиском и сначала разобраться со ссылками и условиями. При проверке перефразировок заводи отдельный запуск на каждый вопрос: в одном длинном чате помощник может повторно использовать уже названный источник, и ты не увидишь, нашёл ли он нужный раздел самостоятельно. Запиши, какой набор документов был подключён, и сохрани сам ответ. Если при повторном вопросе ответы меняются, сравни, какое слово или условие потерялось, и отметь этот случай для следующего прогона. При следующем обновлении используй те же проверочные случаи, добавив один новый, который выявил реальную ошибку.

На интенсиве по нейросетям для бизнеса такую проверку можно начать с одной обезличенной инструкции. Один человек составляет вопросы, другой сверяет ответы, третий описывает недостающие источники.

Что ещё уточнить перед открытием поиска для команды?

Частые вопросы

Попробуй сейчас один вопрос, в котором есть условие или исключение. Сможешь ли ты открыть найденный источник и указать предложение, которое подтверждает ответ?

Источники

Отправь другу или себе в избранное в Telegram, чтобы не потерять.

Поделиться в Telegram
Было полезно?
Автор
Дмитрий Анашкин
Практик-интегратор ИИ в бизнес

Основатель NeuroDA и SMAIPL. Корпоративные воркшопы по ИИ, внедрение AI в бизнес-процессы.

Похожие гайды

Как вести журнал решений проекта: что утвердили и что отменили

На первой встрече выбрали пятницу, на второй её отменили, на третьей опять прозвучала пятница. Показываю, как по нескольким протоколам вести журнал решений, чтобы у каждой записи был источник, статус и связь с тем, что утвердили взамен.

8 мин

Как проверить доступность презентации PowerPoint: порядок чтения, подписи и контраст

На слайде вывод видно за секунду, а программа экранного доступа начинает с логотипа и произносит заголовок в самом конце. Показываю, как проверить порядок объектов в PowerPoint, описать смысл графика и принять презентацию в том формате, в котором её получит аудитория.

9 мин

Как проверить PDF перед отправкой: текст под плашкой, комментарии и вложения

На экране PDF выглядит чисто, но под нарисованной плашкой может остаться текст, а в файле могут лежать комментарии и вложения. На вымышленном примере разбираю подготовку внешней копии и проверку уже сохранённого файла.

9 мин

Сверка двух таблиц Excel по ключу: как найти расхождения и не задвоить суммы

В продажах один заказ, а на складе две частичные отгрузки. Если соединить выгрузки по номеру и развернуть обе отгрузки, сумма заказа удвоится. Показываю, как собрать итог по заказу, сверить суммы и найти строки без пары.

8 мин

Связанные понятия