Как оценить результат корпоративного обучения нейросетям

Коротко

Почему анкета «понравилось» не показывает результат?

Анкета удовлетворённости отвечает на вопрос «было ли интересно». Для руководителя, который заплатил за обучение, это самый слабый из возможных вопросов.

Причин две. Первая - вежливость. В социологии это называют эффектом социальной желательности: в опросах люди отвечают так, как это будет выглядеть хорошо в глазах других. Ведущий старался, коллеги рядом, день был насыщенный - поставить низкую оценку неловко.

Вторая причина - время. Анкету заполняют в пике впечатления, когда в голове ещё свежи удачные примеры. Проверка наступает позже: в понедельник, когда сотрудник открывает свой отчёт и решает, делать его по-старому или с нейросетью.

Поэтому «всем понравилось» - полезный сигнал для ведущего и почти бесполезный для заказчика. Замер, который работает вместо анкеты, начинается ещё до обучения.

Что замерить до первого занятия?

Нулевая точка - это замер до обучения, с которым потом сравнивают всё остальное. Если её нет, через месяц разговор о результате превращается в обмен ощущениями.

Перед корпоративным обучением я прошу руководителей отделов описать от одного до трёх процессов. По каждому: как он устроен сейчас по шагам, кто его делает, как часто, сколько времени уходит за раз и есть ли образец документа.

Такая анкета закрывает сразу две задачи. Программа наполняется задачами самой команды, а заказчик получает таблицу «до», по которой через месяц можно считать эффект.

В нулевую точку стоит добавить ещё два пункта:

1. Кто уже пользуется нейросетями. Сколько человек из группы открывают их хотя бы раз в неделю и для каких задач.
2. Какие файлы пойдут в упражнения. Обезличенный договор, выгрузка, регламент, типовое письмо. Материал для упражнений и материал для замера лучше брать один и тот же.

Замер времени не обязан быть точным до минуты. Достаточно честной оценки того же человека по той же задаче: «еженедельная сводка - около трёх часов». Через месяц этот же человек называет новую цифру по той же сводке.

Четыре уровня оценки обучения нейросетям

Модель четырёх уровней Дональда Киркпатрика используют для оценки корпоративного обучения с 1950-х годов. Уровни идут по нарастающей: реакция, усвоение, поведение, результат. На практике, как отмечает описание модели, оценка часто застревает на первых двух уровнях и не доходит до третьего и четвёртого, где лежат самые полезные данные.

Для обучения нейросетям уровни переводятся в конкретные замеры:

Практики этой модели советуют начинать проектирование с конца. Сначала решаешь, что должно измениться на четвёртом уровне, и только потом собираешь программу, упражнения и анкету.

Какие цифры смотреть через две-четыре недели?

Через две-четыре недели после обучения видно, что стало привычкой. Раньше срок слишком короткий: люди ещё пробуют из любопытства. Позже картина размывается, и трудно понять, что дало обучение, а что другие изменения.

Сценарии в работе. Сценарий - это конкретная задача, которую человек делает с нейросетью по одной и той же схеме: протокол встречи из расшифровки, первый черновик ответа на претензию, сводка по выгрузке продаж. Считаешь, сколько сценариев из программы живут через месяц и у скольких людей.

Время на типовые задачи. Берёшь задачи из нулевой точки и просишь тех же людей назвать новое время. Разница по трём-пяти задачам и есть та цифра, которую можно пересчитать в часы и деньги.

Доля активных. Активным считаю того, кто за последнюю неделю хотя бы раз сделал рабочую задачу с нейросетью и может показать результат. В продуктовой аналитике похожая метрика называется числом активных пользователей за период.

Какая цифра главная, зависит от цели обучения. На своих программах я до старта договариваюсь с заказчиком, какое обучение мы проводим: вдохновляющее или прикладное. Для вдохновляющего главная метрика - доля людей, которые начали пробовать. Для прикладного - внедрённые в работу инструменты.

Двухчасовой мастер-класс на большую аудиторию - формат вдохновляющий, и мерить его стоит по тому, сколько людей захотели продолжить. После одного такого мастер-класса из 45 участников 12 ушли в длительное обучение. Прикладной результат дают форматы с практикой на задачах самой команды.

Самый сильный ранний сигнал - применение без задания. На индивидуальном треке с руководителем я видел это дважды за две недели. Сначала она ночью загрузила в нейросеть пришедший документ на 30 страниц и нашла в нём нужное, не читая целиком. Через неделю сама собрала презентацию к совету директоров.

Собирать эти цифры лучше в коротком разговоре один на один, а не в общем чате. В группе люди стесняются рассказывать о своих результатах, и прогресс выглядит хуже, чем есть на самом деле. Подробно об этом эффекте - в статье про три барьера внедрения ИИ в команде.

Какие артефакты должны остаться после обучения?

Артефакт обучения - это файл, который продолжает работать, когда участники забыли половину услышанного. Проверка простая: сможет ли им воспользоваться новый сотрудник, который на обучении не был.

Минимальный набор, который стоит требовать:

1. Библиотека промптов под задачи команды. Не общие примеры, а запросы под ваши отчёты, письма и договоры, с пометкой, для какой задачи каждый.
2. Шаблоны документов. Структура еженедельной сводки, коммерческого предложения, протокола встречи, в которую нейросеть подставляет содержание.
3. Настроенные ассистенты или проекты под роли. С загруженными правилами, образцами и инструкцией, как ими пользоваться.
4. Рабочие сценарии, записанные по шагам. Что загрузить, какой промпт дать, как проверить результат.
5. Правила работы с данными на одной странице. Что можно отправлять в нейросеть, что обезличивать и что нельзя совсем.

Всё это должно лежать в общем месте компании, а не в личных чатах участников. Такую общую папку с правилами, образцами и инструкциями я называю вторым мозгом команды. Как устроить общий слой знаний, которым пользуется вся команда, разобрано в статье про второй мозг команды.

Отдельная ловушка - слово «готово». Нейросеть охотно сообщает, что всё сделано, даже когда файла нет или он пустой. Артефакт засчитывается, когда его открыли и проверили глазами, об этом подробнее в статье агент отчитался, а результата нет.

Что спросить у провайдера обучения заранее?

Договориться о замере проще всего до оплаты. Если провайдер обучения сам поднимает эту тему, это хороший знак.

1. «Какую нулевую точку вы снимаете до старта?» Хороший ответ - анкета процессов или задач команды со временем на каждую.
2. «Когда и как пройдёт срез после обучения?» Ищи конкретный срок, две-четыре недели, и формат: разговор, анкета по сценариям, повторный замер.
3. «Какие файлы останутся у нас и где они будут лежать?» Промпты, шаблоны, ассистенты, записи - у компании, а не в личном кабинете ведущего.
4. «Сколько времени участники работают руками?» Практика на своих задачах и есть уровень усвоения.
5. «Что вы делаете, если через месяц применяют мало?» Разбор затыков, дополнительная сессия, ставка на тех, кто уже применяет.

Четвёртый вопрос кажется техническим, но он самый показательный. В разборах своих занятий я считаю две цифры: сколько минут участники работали руками и какая доля речи пришлась на ведущего. На одном индивидуальном занятии практика заняла 38 минут из 44. Такую цифру можно посчитать ещё в ходе обучения, не дожидаясь месяца.

Общий чек-лист выбора программы, с красными флагами и вопросами про безопасность данных, - в статье про то, как выбрать корпоративное обучение нейросетям. На своём корпоративном интенсиве я строю упражнения на задачах самой команды, поэтому материал для замера появляется ещё до первого занятия.

План оценки обучения на месяц

План оценки лучше утвердить вместе с программой. Тогда он станет частью обучения, и о нём не придётся вспоминать через месяц.

1. За неделю до обучения: нулевая точка

   Руководители отделов описывают 1-3 процесса: шаги, исполнитель, частота, время за раз, образец документа. Отдельно - кто из группы уже пользуется нейросетями.

2. День обучения: реакция и файлы

   Короткая анкета в конце и папка, где у каждого участника лежит результат упражнения на своей задаче.

3. Первые 72 часа: один повтор

   Каждый участник делает с нейросетью одну реальную задачу из своей работы. Если ты что-то не попробовал в течение 72 часов, ты это забыл.

4. Через две недели: срез один на один

   По 10 минут с каждым: какой сценарий использовал на этой неделе, покажи последний результат, где застрял.

5. Через четыре недели: повторный замер

   Новое время по задачам из нулевой точки, доля активных и список сценариев, которые прижились. По этим цифрам решаешь, кого учить дальше и какие сценарии закрепить в стандарте.

Если через месяц применяют мало, это тоже результат, и с ним можно работать. Почему сотрудники бросают обучение и что держит темп, разобрано в статье про группу, отставшую от программы, а что делать самим участникам в первый месяц - в материале после курса по нейросетям.

Частые вопросы

Главный вывод

Оценка обучения начинается до первого занятия. Три-пять задач со временем, список тех, кто уже пользуется нейросетями, и договорённость с провайдером о срезе через месяц - этого достаточно, чтобы через четыре недели показать финансовому директору цифру.

Анкета «понравилось» останется в этом плане, просто на своём месте: первый уровень из четырёх. Главное лежит дальше - в сценариях, которыми люди пользуются, и в файлах, которые остались у компании.

Как считаешь, твоя команда через месяц после обучения покажет файлы или расскажет, как было интересно?