Коротко
Почему одна цифра тона ничего не говорит?
Отчёт показывает «негатив 2%» или «тон +40». Маркетолог решает, хорошо это или плохо, и почти никогда не спрашивает, как это посчитано. А от способа подсчёта цифра зависит сильнее, чем от самих ответов нейросетей.
Хорошо это видно в разборе на Хабре, где автор считал негатив о конкретной компании. Шесть языковых моделей, 20 запросов, три повтора - 358 ответов. Три негативных. Дальше одна и та же тройка ответов превращается в три разные цифры, и каждая честная по-своему. Разберём по очереди, от чего зависит результат.
Доля негатива зависит от того, что в знаменателе
В том же разборе на Хабре бренд по имени назван только в 22 ответах из 358. Остальные 336 ответов о нём вообще молчат. Негатив, посчитанный от всех ответов, - 0,8%. Посчитанный от тех, где бренд есть, - 13,6%. Разница в 16 раз, а ответы те же.
Вторая ловушка - по каким вопросам считали тон. Присутствие бренда обычно меряют по вопросам о категории без его имени: так видно, называет ли нейросеть тебя сама. Тон же можно посчитать и по вопросам с именем бренда, где о тебе спросили прямо.
| Что считают | По каким вопросам | Что из этого следует |
|---|---|---|
| Присутствие | вопросы о категории, без имени бренда | называет ли нейросеть тебя сама |
| Тон | могут входить и вопросы с именем бренда | о тебе спросили прямо - оценка появилась |
Отсюда ситуация, которая выглядит как ошибка: присутствие ноль, а тон есть. Нейросеть не называет бренд сама, но, когда её спрашивают о нём по имени, отвечает с оценкой. Обе цифры могут быть честными, просто посчитаны по разным вопросам. Если в отчёте любого сервиса видишь такую пару, первым делом спроси, откуда взялся тон.
Какие вопросы вытаскивают негатив?
В той же статье на Хабре есть второй замер, по другой теме: 64 содержательных ответа, негатив в 31. Это почти половина, то есть картина противоположная первому замеру. Разбивка по типам вопросов показывает, откуда она взялась:
| Тип вопроса | Ответов с негативом |
|---|---|
| байки, мемы, фольклор вокруг темы | 16 из 19 |
| «за что не любят» | 11 из 20 |
| третий блок вопросов | 4 из 15 |
| нейтральные вопросы о репутации | 0 из 10 |
Вопрос задаёт рамку ответа. Спросил про минусы - нейросеть их соберёт. Поэтому доля негатива в отчёте во многом говорит о наборе вопросов, а не только о бренде.
На практике проверка тона идёт двумя наборами вопросов. Первый - вопросы покупателя без имени бренда: так ты узнаёшь, называют ли тебя и как. Второй - вопросы с именем: «отзывы о X», «минусы X», «X или Y». Их задаёт тот, кто уже выбирает между тобой и конкурентом, и именно здесь негатив стоит дороже всего.
Как проверить, что негатив действительно о тебе?
В разборе на Хабре все три негативных ответа оказались о других компаниях с похожим названием: телефонии, колл-центрах, музыкальном дистрибьюторе. После отсева в оставшихся 19 ответах о самой компании негатива не осталось - 0 из 19. Разметка тона при этом не ошиблась: негативная фраза действительно стояла рядом с названием. Ошибка была в том, о ком эта фраза.
Найди дословную фразу
Под каждой негативной оценкой должна стоять фраза из ответа. Нет фразы - нет и оценки. В Prodvig.ai тон считается только по дословным фрагментам, и под цифрой лежат сами фразы.
Проверь, о ком речь
Город, сфера, продукт, сайт в ссылке. Если нейросеть описывает чужой бизнес с твоим названием, это вопрос узнаваемости бренда, а не репутации.
Посмотри, на какой вопрос получен ответ
Негатив на «за что не любят» и негатив на «какой выбрать» - разные сигналы. Второй опаснее: его видит покупатель, который о минусах не спрашивал.
Отдели оценку от ошибки в факте
«Дорогой для своего класса» - оценка. «Производится за рубежом», когда завод на самом деле в России, - ошибка в факте. Ошибки правятся содержанием источников, это отдельная работа: как её найти и исправить, разобрано в статье про неправду о компании в ответах нейросети.
Нейросети переформулируют ответы от раза к разу. В методике Prodvig.ai это записано прямо: ноль негатива - факт о конкретном срезе, следующая волна может дать другой результат. Один замер - это мнение, ряд замеров - факт.
Что смотреть вместо тональности?
В методике Prodvig.ai это сформулировано так: перечисление в ряду с другими и прямой совет - разные события, и второе стоит дороже. Нейтральное упоминание в перечне и прямой совет покупателю - разный результат для бренда, даже если тон у обоих не отрицательный.
| Что смотреть | Что показывает | Когда важнее тона |
|---|---|---|
| Присутствие без имени бренда | называет ли нейросеть тебя сама | всегда: без него тон считается только по вопросам о тебе |
| Прямой совет | посоветовали тебя или просто перечислили | когда присутствие уже есть |
| Ошибки в фактах | цена, страна, состав, статус линейки | когда нейросеть говорит о тебе уверенно, но неверно |
| Источники | с каких страниц собран ответ, в том числе негативный | когда негатив повторяется |
В Prodvig.ai прямой совет засчитывается тоже только по дословной цитате: нет фразы - упоминание считается обычным. Как устроены эти уровни и с какого начинать, я разбирал в статье про упоминание, ссылку и рекомендацию. Как собрать вопросы, чтобы замер вообще что-то значил, - в материале о том, как измерить видимость бренда.
Если негатив нашёлся: проверь, на что он опирается
Когда одну и ту же претензию повторяют разные нейросети, стоит проверить, нет ли её в источниках, на которые они ссылаются. Ответ без ссылок такой проверки не даёт: оценка может прийти и из того, что модель знает сама.
Порядок обычно такой: открыть страницы под ответами с негативом, разобрать, что там написано, и, если претензия там есть, ответить на неё по существу там же, где её читают. Когда это отзывы, пригодится статья про отзывы и ответы нейросетей. Вопрос «как переписать ответ нейросети» тут неправильный. Правильный - откуда претензия и есть ли у бренда, что на неё ответить.
Руками такую проверку тяжело повторять: два набора вопросов, несколько нейросетей, каждый ответ надо прочитать и выписать фразу. Часть работы можно отдать ИИ-агенту: он задаст вопросы и соберёт фразы, но решать, о тебе ли фраза, всё равно тебе. Если нужен ряд замеров, это делает Prodvig.ai - сервис ежедневного замера видимости бренда в ответах нейросетей. Он каждый день задаёт вопросы покупателя в 12 каналах, считает тон по дословным фрагментам и показывает фразу под цифрой. Рядом - присутствие, прямые советы, ошибки в фактах и домены, на которые нейросети сослались. Первые 7-10 дней копится база, выводы делаются после неё.
Частые вопросы
Частые вопросы
Главный вывод
Практический шаг на сегодня: задай двум-трём нейросетям пять вопросов покупателя без имени бренда и три вопроса с именем, включая «минусы» и «отзывы». Выпиши каждую оценочную фразу о себе, проверь, о тебе ли она, и открой страницы, на которые сослался ответ. Это даст больше, чем любая средняя цифра тона.
У тебя негатив находится в ответах на обычные вопросы покупателя или только когда спрашиваешь про минусы?
Источники
- Prodvig.ai - сервис ежедневного замера видимости бренда в ответах нейросетей: тон по дословным фрагментам, правило «один замер - мнение, ряд замеров - факт»
- Семь метрик видимости бренда: определение NSR (тон упоминаний) и рекомендации по дословной цитате, «ноль негатива - факт о срезе»
- Три негативных ответа ИИ оказались о другой компании: разбор одной ошибки в метрике тональности, Хабр
