Блог компании для нейросетей: что показал месяц на счётчике AI-краулеров

Коротко

Зачем компании блог, если нейросети и так всё знают?

Когда покупатель спрашивает нейросеть «как выбрать подрядчика для X» или «что учесть при Y», модель собирает ответ из страниц, которые прочитала при обучении или нашла поиском прямо сейчас. Статья компании, которая прямо отвечает на этот вопрос, может стать одной из таких страниц. И тогда в ответе появляется формулировка компании, а иногда и её имя.

Блог - не единственная площадка. Нейросети охотно опираются на отраслевые СМИ, подборки, справочники и отзывы, об этом подробно в статье откуда нейросети берут факты о компании. Но свой блог - единственная площадка, которую компания контролирует целиком: темы, формулировки, частоту и техническую сторону.

Месяц на счётчике: кто читает мой блог

В движок своего блога я встроил счётчик краулеров. Он не хранит адреса и подробности запросов, только семейство робота и страницу. По имени робота понятно, зачем он пришёл, и визиты удобно делить по целям.

Опознанных визитов 2622 из 3536. Остальное - SEO-парсеры и сканеры, их я в доли не считаю. Из всех визитов 1798 пришлись на статьи, остальные - на служебные страницы: карту сайта, файл для нейросетей, главную.

Почему корпус важнее, чем кажется?

У многих компаний первая реакция на такую статистику - закрыть обучающих краулеров в настройках сайта: зачем отдавать тексты бесплатно. Это решение бизнеса, и у него есть цена. Закрыв обучение, ты убираешь свои формулировки из будущих версий моделей. Для блога, задача которого - чтобы о тебе знали, это обычно плохой обмен.

Отдельно стоит CCBot - робот Common Crawl, открытого архива веба. Его данные используют многие команды, которые обучают модели. Попасть в этот архив - значит попасть в материал, из которого учатся сразу несколько моделей.

Что закрывать, а что оставлять открытым в настройках сайта, я подробно разбирал в статье боты нейросетей на сайте.

Что значат семь визитов «за ответом»?

OpenAI в документации прямо разделяет своих краулеров. GPTBot собирает данные для обучения. OAI-SearchBot строит индекс для поиска в ChatGPT. ChatGPT-User действует по запросу пользователя и, по словам самой OpenAI, не обходит сайты автоматически.

Семь - маленькая цифра, и это нормально для канала. Переходов людей по ссылкам из ответов нейросетей мало у всех, и Prodvig.ai говорит это клиентам первым. Главное влияние происходит без перехода: человек прочитал ответ, запомнил название и пришёл позже напрямую или через поиск. Поэтому видимость в ответах меряют отдельно от трафика.

Какие статьи краулеры читают чаще?

Разброс между статьями заметен: из полутора сотен страниц у верхних визитов в разы больше, чем у остальных. Ровного правила «краулеры любят такую тему» по одному месяцу я не вывожу. Но верхние статьи объединяет форма: заголовки-вопросы, короткий ответ сразу под заголовком, таблицы, конкретные цифры и источники.

У каждой статьи моего блога есть текстовая версия без оформления и общий файл-оглавление для нейросетей. Краулеры этим пользуются, хотя и не массово: текстовую версию запрашивают по несколько раз в месяц. Как устроен такой файл, я писал в статье llms.txt для сайта.

Как устроить блог, чтобы его брали в ответы

1. Темы из вопросов покупателей

   Не «новости компании», а ответы на то, что спрашивают перед покупкой: как выбрать, сколько стоит, чем отличается, что проверить. Пробелы, где нейросеть отвечает без тебя, - лучший источник тем.

2. Ответ сразу под заголовком

   Каждый раздел начинается с прямого ответа в два-три предложения. Модель забирает в ответ фрагменты, и фрагмент должен быть понятен сам по себе.

3. Факты с источниками

   Цифра, дата, имя источника в том же абзаце. Модели охотнее опираются на текст, где факт подтверждён.

4. Машиночитаемый слой

   Текстовая версия статей, файл-оглавление для нейросетей, микроразметка, открытый доступ краулерам в настройках сайта.

5. Быстрое уведомление поисковиков

   Новая статья сразу уходит в Яндекс и Bing через IndexNow. На моём блоге робот Яндекса приходит через минуты после выхода, подробности в разборе IndexNow: статья у Яндекса за минуты.

Если статьи пишет ИИ-агент, эти правила стоит зашить в его инструкцию и проверки, а не держать в голове. У меня так и устроено: статья не уходит в публикацию, пока не прошла проверку структуры, фактов и ссылок.

Чего блог не даст

Счётчик краулеров показывает, что тексты читают. Он не показывает, что модель их использовала и в каком виде. Для этого нужен замер: задавать нейросетям вопросы покупателя без имени бренда и смотреть, кого они называют и на какие источники ссылаются. Этим занимается Prodvig.ai, и связка «краулеры читают» плюс «модель называет» даёт полную картину.

Второе ограничение - один свой блог редко перевешивает внешние площадки. Если о компании пишут только на её сайте, модель может сомневаться. Блог хорошо работает в паре с упоминаниями там, где нейросети уже ищут.

Частые вопросы

Главный вывод

Счётчик краулеров показывает вход в воронку: тексты читают. Результат виден в замере ответов нейросетей, и смотреть надо на обе части.

Практический шаг: попроси того, кто ведёт сайт, выгрузить из логов визиты краулеров за месяц по именам. Даже грубая таблица покажет, читают ли нейросети твой сайт вообще.

Какие вопросы твоих покупателей сейчас остаются без статьи на твоём сайте?