# Как проверить ИИ-поиск по базе знаний до запуска на всю команду

Как проверить ИИ-поиск по базе знаний на рабочих вопросах: актуальность документов, ссылки на источник, ответы с условиями и отказ при нехватке данных.

URL: https://posts.danashkin.ru/guides/test-ii-poiska-po-baze-znaniy
Обновлено: 2026-11-21

---

Ссылка есть. Ответ старый.

Новый помощник ищет по инструкциям компании. На демонстрации он красиво отвечает, где взять шаблон заявки. Потом сотрудник спрашивает, кто согласует исключение. Ссылка ведёт в старую инструкцию. Ответ звучит убедительно, хотя после изменения процесса согласовывает другой человек.

**Главное**

Чтобы проверить ИИ-поиск по базе знаний, собери реальные вопросы и подтверждённые ответы с точными фрагментами источников. Отдельно оцени, нашёл ли поиск нужный документ и сохранил ли ответ его условия. Включи вопросы о старой версии, нехватке данных и документах, недоступных выбранной роли.

## Из чего складывается ИИ-поиск по базе знаний

**Главное**

Проверь четыре свойства: найден действующий источник, вывод подтверждён текстом, важное условие сохранено, пользователю разрешено видеть источник. Одинаково уверенная формулировка может скрывать разные причины сбоя в работе системы.

Такой помощник может искать по базе знаний и составлять ответ по найденным фрагментам. Подход называют RAG. Проще всего представить две операции: сначала подобрать страницы к вопросу, затем объяснить их человеку.

Если система достала старую страницу, хороший пересказ не исправит ошибку. Если нашла свежую страницу, но забыла про исключение в конце, это другая проблема. Признак сбоя можно записать в таблицу и отдать тому, кто отвечает за нужную часть.

Про формат ответа со ссылками я писал в разборе [NotebookLM для бизнеса](/guides/notebooklm-dlya-biznesa). При приёмке важно посмотреть, что именно находится за ссылкой. Документ может называться «Правила доступа», но открываться на главной странице, где нужного условия нет.

Проверяющему нужен точный раздел или цитата, которую он может быстро найти. Если интерфейс показывает, какие фрагменты переданы модели, сохрани их вместе с ответом. Если виден только список ссылок, так и запиши: проверен внешний результат, порядок поиска неизвестен.

## Какие вопросы взять для первого прогона?

**Главное**

Начни с вопросов, которые люди уже задают поддержке или владельцам инструкций. Добавь перефразировку, исключение из правила, конфликт редакций и вопрос, для которого в базе нет основания. Владелец процесса должен подтвердить ожидаемый ответ по каждому такому случаю.

Возьми один процесс, где ответ влияет на действие. Например, внутреннюю заявку на участие в выставке. Владелец процесса знает, какие документы действуют, кто согласует и где лежит шаблон.

Из переписки команды возьми обезличенные формулировки, которыми задачу описывают сотрудники. «Как подать заявку на мероприятие?» и «Что заполнить, если отдел едет на выставку?» могут относиться к одному процессу. Вторая формулировка показывает, понимает ли помощник рабочую речь людей.

Собери таблицу. Для каждого вопроса запиши ожидаемый результат, источник, дату или роль, если они меняют ответ, и критичность ошибки. Эталон может быть в виде обязательных пунктов. Для фразы «кто согласует» хватит роли и условия. Если человек спрашивает «где взять форму», проверка должна требовать правильную ссылку, которую он может открыть.

Договорись, кто утверждает эталон. Специалист по настройке поиска знает, что попало в индекс. Владелец процесса знает, по какой инструкции сегодня работают. Для сложного случая попроси его назвать причину: «Эта редакция действовала до пятого числа, смотри новую». Тогда в следующем прогоне проверяющий не перепутает дату публикации документа с датой вступления его в силу.

## Учебный пример с двумя редакциями

**Главное**

В учебной базе есть две версии правила. До даты смены действует старая, после неё новая. Для вопросов о прошлом ассистенту может понадобиться та версия, которую он должен избегать при ответе о текущих правилах. Пометь даты действия, чтобы проверить, какую редакцию система открывает в каждом случае.

Представь, что инструкция «Заявки на выставки» в редакции 1 отправляла все заявки начальнику отдела. В редакции 2, вступившей в силу 1 ноября 2026 года, обычную заявку согласует руководитель направления, а заявку после внутреннего срока дополнительно согласует координатор. Документы и цифры здесь учебные.

В базе может быть сохранён архив для разбора старых случаев, так что удалять редакцию 1 ради теста незачем. Проверь, что обе версии помечены так, чтобы система и сотрудник могли понять область действия.

| Контрольный вопрос | Что засчитать | Где искать подтверждение |
|---|---|---|
| Кто согласует обычную заявку 12 ноября 2026 года? | Руководитель направления | Редакция 2, обычный порядок |
| Срок подачи был 10 ноября 2026 года. Кого ещё позвать при подаче 12 ноября? | Координатора в дополнение к обычному согласованию | Редакция 2, исключение |
| Кто согласовывал заявку 20 октября 2026 года? | Начальник отдела | Редакция 1, исторический период |
| Сколько рабочих дней займёт согласование? | Срок в базе не указан, назвать владельца процесса, если он указан | В инструкциях нет обещанного срока |

Проверь ещё формулировку «к кому идти с заявкой сейчас?». Если в тесте даты важны, запиши дату прогона и ожидаемую редакцию. После следующей смены порядка вопрос останется, эталон обновится. Для вопроса про октябрь оставь дату прямо в запросе, чтобы у проверяющего был стабильный исторический случай.

Когда источник говорит «координатор дополнительно согласует», в эталоне должны остаться оба этапа. Ссылка на правильную инструкцию при ответе «идти только к координатору» помогает найти ошибку, но не делает ответ пригодным для работы. В этом сценарии человек отнесёт заявку не тому участнику. Такая проверка полезнее общего впечатления о тексте.

## Как отличить плохой поиск от плохого ответа?

**Главное**

Если нужного фрагмента нет среди извлечённых, начни с индекса, тегов и поиска. Если фрагмент есть, проверь, как помощник его использовал и сохранил ли уточняющие слова. Когда интерфейс скрывает найденный контекст, зафиксируй видимый симптом без догадок о причине.

Открой список найденных фрагментов, если инструмент показывает его. Для случая с опоздавшей заявкой ищи абзац про дополнительное согласование. Если он отсутствует, попробуй прямой запрос по названию документа.

Не находится даже так? Проверь, загрузилась ли нужная редакция и распозналась ли страница. Если по прямому запросу страница есть, а по рабочему вопросу исчезает, проверь поисковые формулировки, структуру базы и признаки актуальности.

Когда нужный фрагмент найден, сравни ответ по словам, от которых зависит действие. В нашем примере это «дополнительно» и «после внутреннего срока». Иногда помощник правдоподобно смешивает фрагменты обеих версий.

В журнале ошибок запиши это отдельной категорией: система увидела обе редакции и выбрала условия из разных дат. После исправления повтори и текущий, и исторический вопрос. Усиление приоритета свежей версии может неожиданно сломать поиск о прошлом.

В документации Microsoft релевантность найденного контекста оценивается отдельно от обоснованности ответа найденными фрагментами (groundedness). Ответ может опираться на найденный документ, но всё равно ошибиться, если поиск вернул старую редакцию. Для первого приёмочного прогона эту же логику можно перенести в обычную таблицу. Укажи ожидаемый источник, фактически найденный фрагмент и отдельно поставь отметку по ответу.

Если рабочий интерфейс показывает только ответ, не угадывай, что было внутри. Зафиксируй симптом и попроси техническую команду проверить по своим данным.

**Дай ошибке имя**

«Ответ плохой» не подсказывает следующий шаг. «Правило найдено, но потеряно слово “дополнительно”» уже позволяет проверить конкретное изменение.

## Как проверить отсутствие ответа и границы доступа?

**Главное**

Задай вопрос с правдоподобной предпосылкой, которой нет в базе. Отдельно проверь учебный документ под двумя ролями с разными правами. Для обеих ролей используй одни и те же вымышленные данные.

Вопрос «сколько рабочих дней займёт согласование?» в учебном примере не должен превращаться в обещание трёх дней. Хороший ответ сообщает, что срок в найденных документах не указан. Если владелец процесса известен из источника, можно дать направление, где уточнить. В эталоне зафиксируй, какие числа нельзя выдавать за правило. Так результат можно проверить без спора о стиле отказа.

Для проверки ролей можно взять учебный документ с условным кодом отдела. Под учётной записью, которой доступ разрешён, ответ должен соответствовать документу. Под второй тестовой учётной записью, у которой нет доступа к документу, помощник не должен раскрыть содержимое или значение кода. Открой тест в отдельном сеансе.

Проверь, какие документы видны самой роли, и зафиксируй их как условия прогона. Если видимость нарушена, останови расширение доступа и передай конкретный результат владельцу системы. Для упражнения используй вымышленные значения. О том, как выбрать данные для первого испытания, подробнее в статье [о документах компании и нейросетях](/guides/chuvstvitelnye-dannye-i-neyroseti-v-kompanii).

## Критерии приёмки и повторный прогон

**Главное**

Установи критерии по типам ошибок до прогона. Сохрани вопросы, даты, роли и ожидаемые ссылки, чтобы повторить проверку после обновления источников или настройки поиска. Повтори отдельно вопросы по прежней и новой версии одного правила.

Я бы начал с небольшой таблицы и назначил владельца каждому провалу. Десять вопросов дают первую картину ошибок, а доля верных ответов относится только к этой проверке. Даже при результате девять из десяти посмотри на единственный провал. Если помощник неверно назвал срок или раскрыл закрытый документ, общая доля не снимает причину остановить запуск.

Задай порог заранее. Например, на учебном наборе выпуск требует не меньше девяти корректных ответов из десяти и нуля раскрытий закрытого документа, выдуманных сроков и ответов по инструкции, уже отменённой на запрошенную дату. Разметь такие ошибки до прогона, как при [приёмке работы подрядчика по ИИ](/guides/kak-prinimat-rabotu-podryadchika-po-ii). Тогда один красивый показ не заменит проверку.

Если ИИ-поиск по базе знаний входит в состав [ИИ-агента](/concepts/ai-agent), проверь и его действия. Когда агент умеет создавать заявку, открой тестовую копию и убедись, что пользователю показывается шаг подтверждения перед записью. На раннем пилоте удобно ограничиться поиском и сначала разобраться со ссылками и условиями. При проверке перефразировок заводи отдельный запуск на каждый вопрос: в одном длинном чате помощник может повторно использовать уже названный источник, и ты не увидишь, нашёл ли он нужный раздел самостоятельно. Запиши, какой набор документов был подключён, и сохрани сам ответ. Если при повторном вопросе ответы меняются, сравни, какое слово или условие потерялось, и отметь этот случай для следующего прогона. При следующем обновлении используй те же проверочные случаи, добавив один новый, который выявил реальную ошибку.

На [интенсиве по нейросетям для бизнеса](https://danashkin.ru/workshop/) такую проверку можно начать с одной обезличенной инструкции. Один человек составляет вопросы, другой сверяет ответы, третий описывает недостающие источники.

## Что ещё уточнить перед открытием поиска для команды?

**Главное**

Проверь, нужны ли пользователю дополнительные сведения, может ли он открыть источник и кто разбирает ошибочный ответ. Для каждого сложного ответа должно быть понятно, по какой редакции его оценивать.

### Частые вопросы

**Можно попросить нейросеть придумать проверочные вопросы?**

Можно получить варианты формулировок. Возьми первые вопросы у будущих пользователей, а ожидаемые ответы согласуй с владельцем процесса. Проверь вопросы и ответы раздельно.

**Нужно ли принимать дословный ответ по эталону?**

Сохрани обязательные факты и условия. Формулировки могут отличаться, если ссылка подтверждает тот же вывод и сотрудник получает правильное действие.

**Когда повторять испытание?**

После смены важной инструкции, правил видимости или поиска. Для каждого изменения оставь контрольный вопрос, по которому увидишь и исправление, и возможную поломку соседнего случая.

Попробуй сейчас один вопрос, в котором есть условие или исключение. Сможешь ли ты открыть найденный источник и указать предложение, которое подтверждает ответ?

### Источники

- [Lewis и соавторы: исследование Retrieval-Augmented Generation](https://arxiv.org/abs/2005.11401)
- [Microsoft Foundry: оценка поиска и ответа в RAG](https://learn.microsoft.com/en-us/azure/foundry/concepts/evaluation-evaluators/rag-evaluators)
- [Microsoft Architecture Center: сквозная проверка RAG](https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-llm-evaluation-phase)
