Почему нейросеть ссылается на разные сайты и насколько прочно место в источниках

Коротко

Страницу вчера процитировали, а сегодня нет: провал или норма

У Алисы AI это прямо записано в справке Яндекс Вебмастера про видимость сайта:

В базе Prodvig.ai то же видно по всем нейросетям вместе. Берётся каждая страница, которая попала в источники ответа, и каждый следующий день, когда ту же нейросеть спросили о том же. Таких повторных проверок набралось 111 672. Страница снова стояла в источниках в 25,2% из них, то есть примерно в каждом четвёртом повторе.

Отсюда и ответ на вопрос, почему нейросеть ссылается на разные сайты в разные дни: состав источников меняется, а твоя страница - одна из многих, которые могут попасть в ответ. Один день без неё ничего не говорит. Как читать серию дней, разберу ниже на примере.

Как считать устойчивость страницы, чтобы не обмануть себя?

Здесь легко ошибиться. Если посчитать по всей базе, сколько страниц процитировано всего один день, выйдет подавляющее большинство. Но в базе Prodvig.ai 72% пар «вопрос × нейросеть» замерены всего один день: часть вопросов задали один раз. Страница из такого ответа не могла вернуться, даже если она идеальна.

Поэтому честный счёт такой: берёшь день, когда страница впервые попала в источники, и смотришь только на дни после него, когда тот же вопрос задавали той же нейросети.

Учебный пример. Одна страница, одна нейросеть, три вопроса, восемь дней подряд:

Что видно из таблицы. По вопросу Б страница возвращается чаще, по вопросу А - примерно как в среднем по базе, по вопросу В пока не вернулась ни разу. А снимок любого одного дня показал бы другое: в первый день страница стоит только в ответе на вопрос А, в восьмой - только в ответе на вопрос Б.

Сколько страниц вообще держатся в источниках?

Шанс вернуться в базе был у 20 912 страниц: их процитировали, а потом тот же вопрос той же нейросети задали снова. Хотя бы ещё в один день снова оказались в источниках 44,5% из них, по любому вопросу и в любой нейросети. Остальные больше не появлялись.

Из этого следует важная поправка к среднему. 25,2% - доля по всем повторам вместе, и её поднимают страницы, которые стоят в ответах неделями. Отдельная типичная страница с шансом вернуться не вернулась ни разу. Поэтому сравнивать свою страницу со средним по базе - неточно, об этом ниже.

Рекорд одной страницы - 49 разных дней в источниках по любым вопросам. Есть и другой показатель - широта: 3 916 страниц из 49 417, это 7,9%, процитировали три разные нейросети и больше. Если такие страницы есть в твоей теме, это хороший образец: их берут разные сервисы.

Почему место в источниках не закреплено?

У нейросети нет списка «постоянных» сайтов, и это вторая причина, почему нейросеть ссылается на разные сайты от раза к разу. В базе Prodvig.ai сотня самых частых доменов даёт 36,6% ссылок, остальные 63,4% разбросаны по тысячам сайтов, а 49,3% доменов встретились ровно один раз.

Популярность страницы место тоже не закрепляет. В августовской проверке на двух с лишним сотнях страниц со счётчиком просмотров значимой связи между числом дней в источниках и просмотрами не нашлось: популярная статья держалась не дольше непопулярной.

И ещё один слой разброса - разные нейросети. Они читают разный набор страниц, это я разбирал в материале про то, почему нейросети советуют разные бренды. Здесь речь о другом: об одной и той же нейросети, которой задали один и тот же вопрос в разные дни.

Что из этого следует для работы?

Три практических правила:

1. Несколько страниц под один вопрос. Одна страница даёт в среднем примерно один шанс из четырёх на каждый повтор, а типичная - меньше. Свой сайт плюс одна-две открытые площадки дают несколько шансов на один и тот же ответ. Какие площадки рунета нейросети цитируют чаще, разобрано в статье какие площадки цитируют нейросети.
2. Ряд вместо снимка. На странице метрик Prodvig.ai это записано как правило: «Один замер - это мнение. Ряд замеров - это факт». С какой частотой мерить, чтобы отличить тренд от шума, я разбирал в материале про то, как измерить видимость бренда.
3. Не переписывать после короткой серии. Несколько пустых дней подряд - частый исход даже для хорошей страницы. Правка нужна после длинной серии без возвратов, когда соседние страницы по тем же вопросам возвращаются. Тогда проверь, отвечает ли твоя страница на вопрос в первом абзаце и не устарела ли. Как обновлять страницу честно, без подделки даты, разобрано в статье обновление статей для нейросетей.

Проверка своей страницы руками: серия и соседи

1. Выбери вопросы

   Три-пять вопросов покупателя, в ответах на которые твоя страница должна стоять. Формулировки как у клиента, без названия бренда.

2. Задавай их одной нейросети раз в день

   Одна и та же нейросеть или ИИ-агент с поиском, каждый раз в новом чате, без истории. Две недели подряд, чтобы на каждый вопрос набралось десять повторов и больше.

3. Записывай источники

   Таблица: день, вопрос, есть ли среди ссылок твоя страница и две-три чужие, которые стоят в тех же ответах. Скриншот ответа рядом, чтобы потом было что перепроверить.

4. Считай только повторы после первого попадания

   Для каждой страницы - от дня, когда она впервые попала в источники. Дни до этого в расчёт не идут.

5. Сравни свою страницу с соседними

   Сравнение с чужими страницами по тем же вопросам говорит больше, чем со средним по базе: 25,2% - это среднее по тысячам страниц, а не цель.

Как читать результат:

Проценты во второй колонке - расчёт для модели, где каждый повтор даёт странице шанс 25,2%. Реальные страницы разные, поэтому нулей бывает ещё больше, и опора всё равно - сравнение с соседями.

Руками это работает на нескольких вопросах. Когда вопросов десятки, а нейросетей несколько, ряд проще собирать сервисом. Для этого подходит Prodvig.ai, который я собрал для замера брендов в нейросетях. Он каждый день задаёт нейросетям вопросы покупателя и хранит каждый ответ с датой и списком источников. В выгрузке источников каждая цитата идёт с адресом страницы, вопросом и нейросетью, и по ней можно проверить, возвращается ли твоя страница и как часто возвращаются соседние.

Частые вопросы

Главный вывод

Практический шаг: выбери три вопроса, по которым твоя страница уже попадала в ответ, и задавай их одной нейросети каждый день две недели. Посчитай долю возвратов для своей страницы и для одной чужой из тех же ответов.