# Замена ИИ-модели: как проверить её на своих задачах до перехода

Замена ИИ-модели влияет на цену и качество работы. Как сравнить версии на своих задачах, заметить блокирующие ошибки и посчитать стоимость правок.

URL: https://posts.danashkin.ru/guides/kak-proverit-zamenu-ii-modeli
Обновлено: 2026-11-20

---

Новая модель быстрее разложила несколько писем по отделам на демонстрации. В рабочей очереди она может отправить запрос на возврат в общий ящик, где его заметят позднее. Сравнивать стоит и время ответа, и то, как решение модели меняет маршрут обращения.

Замена ИИ-модели затрагивает весь процесс. Зафиксируй обычные входы и сравни два варианта по тому, что происходит после ответа. Скорость и цена запроса важны вместе с временем ручной правки и последствиями ошибки.

**Главное**

Оставь один промпт, одинаковый контекст и набор обращений с известным результатом. Сначала проверяй обязательные поля и блокирующие ошибки, затем сравнивай время и стоимость на принятый результат. Зафиксируй условия перехода до просмотра ответов.

## Что меняет замена ИИ-модели в рабочей задаче?

**Главное**

Определи рабочее действие и версию процесса. Для сравнения моделей оставь одинаковыми правила, данные, инструменты и формат ответа. Если для новой модели меняешь промпт или схему инструментов, записывай сравнение как проверку новой конфигурации.

Возьмём условную службу поддержки. Модель читает входящее письмо и выбирает одну из очередей: оплата, доставка, возвраты. Она также возвращает короткую цитату из письма, которая объясняет выбор. Если намерение неясно, письмо отправляется на ручную сортировку с указанием причины.

Оператор либо подтверждает маршрут, либо меняет очередь. Это конкретный результат, который можно проверить в таблице, даже если ты впервые настраиваешь такую проверку.

Две модели можно запустить на одном снимке данных. Сохрани текст инструкции, настройки, версию модели и формат ответа. Если в новой версии один параметр отсутствует или действует иначе, запиши это.

Если у одной версии есть поиск по источникам, а у другой его нет, зафиксируй, зачем сравниваешь именно такие варианты. Для решения «что поставить в рабочий процесс» сравнение двух разных настроек допустимо. Вывод «виновата именно модель» потребует отдельной проверки.

Этот порядок связан с [контекстом, который видит модель](/guides/kontekst-inzhiniring). Замена одного названия в настройках на практике может изменить длину доступного текста, доступные инструменты и формат ответа. Проверь путь целиком на тестовой копии до того, как рассчитывать экономию.

## Одинаковые условия сравнения

**Главное**

В наборе нужны обычные задачи, неоднозначные входы, известные сбои и редкие случаи с высокой ценой ошибки. Ожидаемое поведение запиши заранее и сохрани часть примеров для последней проверки после настройки.

Возьми однозначные письма о возврате, оплате и доставке. Добавь обращения с двумя темами и письма, где автор ссылается на прежнюю переписку, которой у модели нет. Проверь отдельно, как модель читает историю внутри письма, где упомянута доставка, хотя новый вопрос относится к возврату.

Каждому примеру назначь ожидаемое действие. Иногда это одна очередь, иногда ручной разбор. Если единственного правильного ответа нет, заранее запиши допустимые варианты.

Обычные задачи показывают, что происходит с повседневным потоком. Редкие примеры отвечают на другой вопрос: не запускает ли модель дорогое исправление. В таком учебном наборе можно специально взять больше сложных случаев, чем встречается в работе.

Потом не выдавай долю ошибок в этом наборе за реальную частоту инцидентов. Она показывает, что выдерживает проверенная конфигурация и где ей требуется страховка.

Используй обезличенные или придуманные данные, если рабочие сообщения нельзя передавать тестовому сервису. При переносе из реального сбоя сохраняй форму проблемы.

Если в рабочем сбое слово «доставка» было только в цитате из старого письма, замени имена и номера, сохранив вложенную цитату и новую просьбу о возврате. На тесте без этого условия регрессия может исчезнуть только потому, что ты убрал саму трудность.

## Как оценить ответы без спора о впечатлениях?

**Главное**

Выдели проверки с однозначным результатом и отдельные критерии, требующие чтения человеком. Ошибки, которые меняют смысл операции, покажи отдельной строкой, чтобы они не скрылись в среднем балле.

Сначала посмотри, получился ли ответ в ожидаемом формате. Для однозначного письма сравни очередь с эталоном и найди цитату в исходном тексте. Для неоднозначного проверь, оставила ли модель автоназначение пустым и отправила ли письмо на ручной разбор.

Эти проверки можно выполнить даже вручную в маленькой таблице. Удобство вопроса оператору и полноту короткого пояснения оцени отдельно по записанным примерам допустимых формулировок.

| Проверка | Что записать в результате |
|---|---|
| Поля разбираются системой | Прошёл ли ответ схему |
| Очередь совпала с эталоном | Какие маршруты пришлось изменить |
| Для назначения не хватает сведений | Ушло ли письмо на ручной разбор |
| Текст требует ручного просмотра | Сколько заняла правка |
| Обращение ушло бы не в тот отдел | Блокирующий случай с исходным примером |

**Сначала реши, что блокирует переход**

Если модель отправила срочное обращение о возврате в общий ящик, вынеси этот случай отдельно. Высокая доля верных маршрутов в типовых письмах не исправит просрочку ответа.

Руководства OpenAI и Anthropic описывают проверку по заранее заданным критериям. Для результата с несколькими полями проверяй каждое значимое поле, а отзыв об общем качестве сохраняй отдельно. При проверке человеком по возможности скрой названия моделей: это убирает часть ожиданий от бренда.

Если для черновой оценки пользуешься другой моделью, сначала сравни её вердикты с ручной оценкой на той же выборке. Подход к [проверке выдуманных утверждений](/guides/gallyucinacii-neyrosetey-kak-proveryat) здесь пригодится как отдельный тест.

## Стоимость принятого результата

**Главное**

Считай затраты на обработку всего набора, включая повторы и ручную работу. Раздели их на число подтверждённых маршрутов. Отдельно покажи объём, который так и пришлось обработать вручную или отложить.

Учебные числа. Прежний вариант обработал 100 обращений за 300 рублей по счёту сервиса, а команда потратила 20 минут на проверку и правки. Новый вариант обошёлся в 180 рублей по счёту и занял 50 минут.

При условной стоимости рабочего времени 600 рублей в час получаем 500 рублей за старый вариант и 680 рублей за новый. Если в обоих случаях подтвердили все 100 маршрутов, цена одного составит 5 рублей и 6 рублей 80 копеек соответственно. Среднее время ручной работы на подтверждённый маршрут составит 12 секунд у прежней модели и 30 секунд у новой. Это арифметический пример, чтобы увидеть, куда уходит выигрыш от запроса.

Если часть маршрутов не приняли, отдельно сравни долю подтверждённых. Например, дешевизна обработки может оказаться следствием того, что больше входов ушло в ручную очередь, время которой никто не записал.

Укажи также время ожидания: скорость модели важна, если оператор ждёт сортировку письма, и менее заметна, если результат формируется ночью. Медиана полезна для обычного случая, а затяжные ответы посмотри отдельно.

## Как перейти на новую конфигурацию и проверить её ещё раз?

**Главное**

Сохрани рабочие настройки, прогоняй новую конфигурацию без реальных записей, затем сравни результаты на ограниченном потоке. Условия перехода и возврата должны ссылаться на наблюдаемые ошибки и стоимость.

В учебном сервисе можно неделю сравнивать предложенные маршруты на одном наборе входов, сохраняя результат только в тестовом контуре. Рабочая запись продолжает идти привычным путём.

В Prodvig.ai при смене моделей ответы проверяли на фиксированных наборах, своём для каждого сравнения. Когда сравнили, какие бренды видит большинство каналов, из этого большинства исключили проверяемый канал: с ним результат был 50%, после исключения стал 46%. Новая модель называла меньше марок, но команда переключилась по заранее принятому правилу: измерять то, что видит пользователь. Переключение отметили в методологии сервиса для клиентов. В своей очереди поддержки так же фиксируй правило перехода и дату смены, чтобы можно было сравнить результаты до и после.

Если найдёшь новую ошибку, добавь соответствующий пример в набор. Для этой фазы полезна [приёмка работы ИИ-агента без технического бэкграунда](/guides/kak-proveryat-ai-kod-bez-teh-bekgraunda), где результат виден в интерфейсе и в записи после него.

До пилота задай и условия перехода. Например, на контрольном наборе допустимы отдельные отправки на ручной разбор, если они не ведут к ошибочной маршрутизации срочных возвратов и укладываются в бюджет ручной проверки. Задай условие возврата перед пилотом. Например, если срочное обращение о возврате ошибочно ушло в общий ящик, прекрати передачу новых писем новой версии и верни сохранённые настройки: модель, промпт и схему ответа. Проверь на контрольном письме, что старая конфигурация снова отвечает как ожидалось. Отдельно сверь маршруты писем, которые уже прошли через пилот.

Попроси [ИИ-агента](/concepts/ai-agent) сохранять для каждой попытки версию модели, версию инструкции и результат проверки. Два запуска одной конфигурации могут отвечать по-разному. Для случаев с дорогой ошибкой разумно повторить проверку несколько раз и сохранить разброс.

Если новая конфигурация сильна на простых запросах, но путает основной вопрос с цитатой из переписки, сначала реши, отправлять ли такие случаи оператору. Список обязательных проверок проще всего собрать на [практике работы с ИИ-агентами](https://danashkin.ru/agents/), взяв одну рабочую задачу с понятным результатом.

## Как провести сравнение, чтобы вывод можно было повторить?

**Главное**

Сохрани входы, ожидания и ответы двух вариантов в одной ведомости. Отмечай ручное исправление и первопричину в разных колонках. В конце перечисли случаи, на которых новая версия дала другой результат.

В учебном наборе строка для письма о возврате может содержать исходный текст, наличие вложенной переписки, ожидаемую очередь и опорную цитату, ответы обеих моделей и вердикт проверяющего.

Если правила маршрутизации зависят от часов работы команды, сохрани дату и время, на которые рассчитан ответ. Иначе повтор в другой день поменяет условие задачи. Для данных, которые модель читает через инструмент, сохрани тестовый ответ инструмента или версию источника.

При повторной проверке добавь строку для случая, где решения разошлись, и объясни причину. Старая модель могла правильно выбрать отдел, но вернуть текст, который не смогла прочитать очередь.

Новая могла вернуть правильный формат с неверным отделом. Это разные проблемы: в первом случае полезна проверка формата, во втором надо смотреть понимание запроса. Простое «стало лучше» по одной общей колонке не помогает выбрать правку.

Заранее назначь человека, который разбирает спорные ожидания. Если два оператора по-разному разбирают письмо «посылка задержалась, хочу вернуть деньги», уточни эталон: направить к возвратам или сначала передать на ручной разбор. Тогда модель не штрафуется за то, о чём команда сама ещё не договорилась.

Если для новой версии пришлось изменить правила проверки, прогони по новым правилам обе версии. Иначе сравнивать будешь два разных определения корректного маршрута.

На последней проверке используй примеры, которые не участвовали в настройке. Сохрани ведомость вместе с датой, чтобы при следующей смене модели начать с проверенных случаев, а не с красивой демонстрации.

## О чём ещё спросить перед заменой модели?

**Главное**

Проверь, хватает ли примеров, сравнимы ли настройки и есть ли путь возврата. Любой выбор относится к проверенной задаче и конкретному набору входов.

### Частые вопросы

**Хватит ли десяти обращений?**

Для первого знакомства хватит. Для решения о переходе добавь редкие случаи, ошибки из истории и примеры разных операторов. Десять однотипных писем ничего не скажут об обращениях с двумя темами и вложенной перепиской.

**Можно измерить только точность извлечения полей?**

Можно, если это цель изменения. Для запуска в рабочем процессе отдельно посмотри время правки, долю уточнений, долю ответов в нужном формате и реакцию на пустые данные.

**Что делать, если поставщик изменил прежнюю модель?**

Повтори набор и запиши фактическую версию или доступный идентификатор конфигурации. Если старая версия недоступна, сравни результат с сохранёнными ожиданиями и последними проверенными прогонами.

Зафиксируй один пример, на котором замена блокируется, и один, по которому видна экономия времени. Сохрани их для следующего сравнения.

### Источники

- [Постановка цели, данные, критерии и регулярные проверки](https://developers.openai.com/api/docs/guides/evaluation-best-practices)
- [Многомерные критерии, точное сравнение и способы оценки](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
- [Примеры проверки изменений промпта и измерения качества](https://platform.claude.com/cookbook/misc-building-evals)
