Коротко
Почему эффект считают в трёх валютах?
Эффект от внедрения ИИ - это разница между «как было» и «как стало», выраженная в часах, деньгах и людях. Я оцениваю любое решение по бизнес-эффекту: время, деньги, качество, FTE. Техническая элегантность и «выглядит круто» в этот расчёт не входят.
Разберём простым языком, почему порядок важен.
Часы - единственная валюта, которую можно измерить напрямую. Секундомер, журнал задач, отметка времени в системе. Это первичные данные.
Деньги выводятся из часов через стоимость часа и через вопрос «что мы сделали с освободившимся временем». Здесь начинаются допущения, и их надо записывать.
Люди - это решения: перераспределить нагрузку, не нанимать следующего сотрудника, поднять планку качества. Их принимают, когда первые две валюты уже посчитаны.
Когда начинают с конца («нам обещали минус три ставки»), расчёт подгоняют под ответ. Команда это чувствует мгновенно и начинает прятать эффект. Про формулу окупаемости и полный список затрат написано много. Эта статья про другую половину уравнения: как честно измерить саму выгоду.
Как замерить «до», пока ИИ ещё не трогали?
Замер «до» - это точка отсчёта, без которой доказать эффект невозможно. Его делают до первого запроса к нейросети, потому что потом люди уже работают иначе и старое время никто не вспомнит.
Опиши операцию с границами
Не «работа с КП», а «от получения запроса клиента до отправки коммерческого предложения». Где начало, где конец, что считается готовым результатом.
Выбери трёх-пятерых исполнителей
Разного уровня: опытного, среднего и новичка. Один человек даёт анекдот, пятеро дают картину.
Засеки 10-20 повторов
Секундомер или отметка времени в таблице: начал, закончил. Паузы на обед и соседние задачи вычитаются.
Запиши объём и брак
Сколько таких операций проходит за неделю и сколько из них возвращается на доработку.
Зафиксируй и не трогай
Цифры «до» сохраняются в файл с датой. Их не пересматривают задним числом, даже если хочется.
Проще всего с задачами, которые уже оставляют след в системах: заявки, письма, тикеты. Там время часто можно выгрузить без секундомера. Хронометраж старше нейросетей лет на сто: в начале прошлого века инженеры так же засекали операции у станка, и метод с тех пор не изменился.
Какую операцию выбрать для первого замера, я разбирал в материале о том, какую задачу отдать ИИ первой. Если коротко: регулярную, измеримую и с хозяином, которому результат нужен лично.
Четыре метрики, которые стоит взять в замер
Для замера эффекта нужны четыре метрики, и каждая ловит свою сторону результата.
| Метрика | Что показывает | Как мерить | Во что переводится |
|---|---|---|---|
| Время на операцию | сколько минут уходит на одну единицу работы | секундомер или отметки в таблице на 10-20 повторах | часы, затем деньги |
| Число операций за период | сколько работы проходит через команду | выгрузка из системы или журнал за неделю | объём без найма |
| Ошибки и переделки | качество результата | доля возвратов на доработку, число замечаний | стоимость брака |
| Скорость ответа клиенту | сколько ждёт клиент | время от запроса до ответа | конверсия и выручка |
Третья метрика страхует от самой частой иллюзии. Черновик от нейросети появляется за минуту, а на проверку и правку уходит ещё двадцать. Если мерить только время генерации, эффект выглядит огромным. Если мерить время до готового результата, принятого без замечаний, цифра становится честной.
Четвёртая метрика самая недооценённая. Для отдела продаж ответ клиенту в тот же день вместо завтрашнего может значить больше, чем любые сэкономленные часы. Но её переводят в деньги отдельно, через конверсию, и не складывают с экономией времени в одну строку.
И вот тут самое интересное. Как только метрика становится целью, люди начинают оптимизировать саму метрику вместо работы. Поэтому четыре показателя смотрят вместе: время упало, а переделок стало больше - это тревожный сигнал.
Как перевести сэкономленные часы в деньги?
Сэкономленные часы превращаются в деньги через стоимость часа, и это самая простая часть. Полная стоимость часа - это месячные затраты на сотрудника (зарплата, взносы работодателя, рабочее место и лицензии), делённые на норму рабочих часов из производственного календаря.
Сложная часть в другом. Час, который освободился, но ни во что не превратился, денег не приносит. Он просто растворяется: работа расширяется и заполняет всё отведённое ей время.
Есть три пути, по которым время реально становится деньгами:
- Больше объёма тем же составом. Отдел обрабатывает на треть больше заявок без нового сотрудника.
- Отказ от найма или подрядчика. Вакансию, которую собирались открыть, не открывают. Или внешнюю работу забирают внутрь.
- Быстрее ответ клиенту. Скорость превращается в конверсию, а конверсия в выручку.
Мой собственный пример показывает, как это выглядит в жизни. Я собрал себе конструктор договоров на обучение через вайбкодинг: раньше подготовка договора на клиента занимала у меня около часа, теперь занимает около трёх минут.
Глобально времени я себе при этом не сэкономил. Освободившиеся часы ушли в следующие инструменты, которые я собрал на базе первого. Эффект есть, но в другой валюте: вместо «минус часы» получилось «плюс продукты».
На практике это значит простую вещь. Перед запуском запиши, по какому из трёх путей пойдёт освободившееся время. Без этой записи через три месяца на вопрос «что это дало» ответить будет нечем. Эту же дыру я описывал в разборе, почему покупка подписки команде ещё не внедрение: эффект, который никто так и не измерил, для собственника просто отсутствует.
Почему «экономия FTE» не равна сокращению?
FTE (full-time equivalent, эквивалент полной ставки) - это способ выразить часы в людях. Формула простая: сэкономленные часы в месяц делятся на норму часов одной ставки. Сорок часов в месяц при норме около ста шестидесяти - это четверть ставки.
Проблема в том, что эта четверть ставки не сидит в одном человеке. Она распределена: у менеджера минус сорок минут в день, у аналитика минус час в неделю, у руководителя минус полчаса на отчёт. Уволить «четверть ставки, размазанную по десяти людям», нельзя. Можно только решить, что с этим временем делать.
Отсюда три честных варианта использования эффекта в людях:
- Рост без найма. Компания растёт, а штат остаётся прежним. Самый частый и самый здоровый сценарий.
- Перевод на более ценную работу. Время уходит в задачи, до которых раньше не доходили руки: аналитика клиентов, качество, новые продукты.
- Сокращение. Возможно, только когда эффект сконцентрирован в одной функции и измерен на всей команде, а не на лучших.
Есть и человеческая сторона. Если команда считает, что замер нужен для сокращений, эффект начнут прятать. Никто не станет честно показывать, что задача теперь занимает десять минут вместо часа.
Поэтому рамка «ИИ усиливает людей, а освободившееся время идёт в рост» - это условие честного замера. Без неё цифры будут занижены с первого дня.
Ловушка «посчитали на одном энтузиасте»
Самая частая ошибка расчёта - экстраполировать результат одного увлечённого сотрудника на весь отдел. Энтузиаст сам вызвался, сам разобрался, сам нашёл приёмы. Его «было два часа, стало пятнадцать минут» честное, но к медианному коллеге оно не относится.
На вводном вебинаре для одной компании руководитель описала свою модель внедрения так: «я прихожу к своей великолепной тройке чемпионов и говорю: тройка, ну-ка, забабахайте мне агента». Модель рабочая, энтузиасты действительно тащат внедрение. Но мерить эффект на «тройке чемпионов» и умножать на весь штат нельзя.
По моим наблюдениям с корпоративных обучений, сильнее всех применяют знания те, кто пришёл сам и влюбился в технологию. Записанные по списку применяют заметно меньше. Для расчёта эффекта это значит одно: лучший результат в группе - это потолок, среднее всегда ниже.
Три правила против этой ловушки:
- Мерить на выборке. Трое-пятеро сотрудников разного уровня, обязательно с одним скептиком.
- Брать медиану. Среднее искажают крайние значения, лучший результат искажает всё.
- Ждать привыкания. Первая неделя с новым инструментом всегда медленнее старого способа. Честный замер «после» делают через две-три недели ежедневной работы.
Есть и обратный эффект: люди, которые знают, что их замеряют, работают внимательнее. Поэтому замер «до» и замер «после» проводят одинаково, в одних и тех же условиях.
На корпоративном интенсиве по ИИ мы разбираем задачи самой команды: участники делают упражнения на своих рабочих процессах, и после такого дня обычно видно, на каких операциях стоит начинать замер.
Шаблон расчёта на одну задачу
Шаблон расчёта эффекта умещается в одну таблицу. Ниже условный пример для операции «подготовка коммерческого предложения» в отделе из пяти менеджеров. Цифры условные, подставь свои.
| Строка расчёта | Значение в примере | Откуда берётся |
|---|---|---|
| Время на операцию до | 90 минут | медиана хронометража 3-5 сотрудников |
| Время на операцию после | 45 минут, включая проверку | медиана через 2-3 недели работы |
| Объём в месяц | 40 предложений | выгрузка из системы |
| Сэкономлено часов в месяц | 30 часов | (90 − 45) × 40 / 60 |
| Доля ставки | около 0,2 FTE | 30 / норма часов в месяце |
| Стоимость часа | подставь свою | затраты на сотрудника / норма часов |
| Экономия на бумаге | 30 × стоимость часа | потенциал, ещё не деньги |
| Путь в деньги | больше предложений тем же составом | решение до старта |
| Переделки до и после | доля возвратов | контроль качества |
| Время ответа клиенту до и после | часы от запроса до отправки | отдельная строка для выручки |
Две последние строки с экономией складывать нельзя. Они отвечают на два отдельных вопроса: стало ли хуже по качеству и стало ли быстрее для клиента. Каждая защищается отдельно.
Затраты на внедрение в эту таблицу не входят. Их считают отдельно и полностью: подписки, время на обучение, время ответственного за пилот. А принимать результат по такой таблице удобно по тем же правилам, что и работу подрядчика по ИИ: контрольный набор случаев и заранее оговорённый порог.
Частые вопросы
Частые вопросы
Главный вывод
Собери всё вместе. Замер «до» делается руками и заранее. Метрик четыре, и смотрят их вместе.
Часы становятся деньгами, только когда ты решил, куда уйдёт время. FTE на бумаге почти никогда не равно сокращению, и это нормально: самый здоровый эффект - рост без найма.
Практический минимум на эту неделю: выбери одну операцию, опиши её границы и засеки десять повторов у трёх человек. Это и будет твоя точка отсчёта.
Как думаешь: твоя команда покажет честный эффект, если будет знать, что его замеряют, или начнёт прятать сэкономленное время?
Источники
- Full-time equivalent - эквивалент полной ставки и как его считают, Википедия
- Time and motion study - хронометраж операций, Википедия
- Производственный календарь - нормы рабочего времени по месяцам, КонсультантПлюс
- Goodhart's law - когда показатель становится целью, Википедия
- Parkinson's law - работа заполняет всё отведённое ей время, Википедия
- Hawthorne effect - люди меняют поведение, когда знают, что их изучают, Википедия
- Selection bias - ошибка выборки, Википедия
