# Блог компании для нейросетей: что показал месяц на счётчике AI-краулеров

Блог компании для нейросетей: кто из роботов читает статьи и зачем, что значат визиты по живому вопросу и как устроить блог, чтобы его брали в ответы.

URL: https://posts.danashkin.ru/guides/blog-kompanii-i-ai-kraulery
Обновлено: 2026-10-15

---

## Коротко

**Главное**

- Блог компании для нейросетей - это не только читатели-люди. За месяц на мой блог из полутора сотен статей краулеры зашли 3536 раз, и больше половины опознанных визитов - краулеры, которые собирают тексты для обучения моделей.
- Краулеры приходят с разными целями: собрать корпус для обучения, построить индекс для AI-поиска, проиндексировать страницу для обычной выдачи или прочитать её прямо сейчас для живого вопроса пользователя.
- Самая ценная строка - визиты «за ответом»: модель пошла на страницу, потому что человек задал ей вопрос. Их мало, но это прямое доказательство, что блог стал источником.
- Чтобы блог брали в ответы, статьи пишут вопросами и короткими прямыми ответами, со ссылками на источники, с машиночитаемой версией и регулярно.
- С чего начать: попроси того, кто ведёт сайт, выгрузить из логов сервера визиты роботов за месяц по их именам. Уже грубая таблица покажет, читают ли нейросети твой сайт и какие страницы.

## Зачем компании блог, если нейросети и так всё знают?

**Главное**

Нейросеть знает о компании ровно то, что о ней написано в местах, которые она читает. Если о твоей экспертизе пишешь только ты и только в соцсетях, модели не на что опереться. Блог на своём сайте - площадка, где факты о компании и экспертиза лежат в форме, удобной для чтения краулерами.

Когда покупатель спрашивает нейросеть «как выбрать подрядчика для X» или «что учесть при Y», модель собирает ответ из страниц, которые прочитала при обучении или нашла поиском прямо сейчас. Статья компании, которая прямо отвечает на этот вопрос, может стать одной из таких страниц. И тогда в ответе появляется формулировка компании, а иногда и её имя.

Блог - не единственная площадка. Нейросети охотно опираются на отраслевые СМИ, подборки, справочники и отзывы, об этом подробно в статье [откуда нейросети берут факты о компании](/guides/otkuda-neyroseti-berut-fakty-o-kompanii). Но свой блог - единственная площадка, которую компания контролирует целиком: темы, формулировки, частоту и техническую сторону.

## Месяц на счётчике: кто читает мой блог

**Главное**

За 30 дней краулеры зашли на мой блог 3536 раз. Из опознанных визитов 55% - краулеры, собирающие тексты для обучения моделей, 30% - краулеры обычного поиска, 15% - краулеры AI-поиска, меньше 1% - визиты по живому вопросу пользователя нейросети. Половина всех визитов приходится на сами статьи.

В движок своего блога я встроил счётчик краулеров. Он не хранит адреса и подробности запросов, только семейство робота и страницу. По имени робота понятно, зачем он пришёл, и визиты удобно делить по целям.

| Цель визита | Доля опознанных визитов | Главные краулеры за 30 дней |
|---|---|---|
| Собирают корпус для обучения | 55% | GPTBot (672), ClaudeBot (646), CCBot (113) |
| Обычный поиск | 30% | YandexBot (447), Bingbot (229), Googlebot (около 40) |
| AI-поиск | 15% | OAI-SearchBot (360), PerplexityBot (23) |
| Пришли за ответом | меньше 1% | ChatGPT-User (7) |

Опознанных визитов 2622 из 3536. Остальное - SEO-парсеры и сканеры, их я в доли не считаю. Из всех визитов 1798 пришлись на статьи, остальные - на служебные страницы: карту сайта, файл для нейросетей, главную.

## Почему корпус важнее, чем кажется?

**Главное**

Краулеры, которые собирают тексты для обучения, не дают ссылки и не приводят читателей сегодня. Но то, что они прочитали, становится частью знаний будущей версии модели. Через месяцы модель может отвечать формулировками из твоей статьи, даже не открывая сайт.

У многих компаний первая реакция на такую статистику - закрыть обучающих краулеров в настройках сайта: зачем отдавать тексты бесплатно. Это решение бизнеса, и у него есть цена. Закрыв обучение, ты убираешь свои формулировки из будущих версий моделей. Для блога, задача которого - чтобы о тебе знали, это обычно плохой обмен.

Отдельно стоит CCBot - робот Common Crawl, открытого архива веба. Его данные используют многие команды, которые обучают модели. Попасть в этот архив - значит попасть в материал, из которого учатся сразу несколько моделей.

Что закрывать, а что оставлять открытым в настройках сайта, я подробно разбирал в статье [боты нейросетей на сайте](/guides/boty-neyrosetey-na-sayte).

## Что значат семь визитов «за ответом»?

**Главное**

ChatGPT-User приходит на страницу не по расписанию, а в момент, когда человек в ChatGPT задал вопрос и модель пошла читать источник. Семь таких визитов за месяц - семь живых вопросов, ответ на которые модель собирала в том числе по моим статьям. Это прямое доказательство, что блог стал источником ответа.

OpenAI в документации прямо разделяет своих краулеров. GPTBot собирает данные для обучения. OAI-SearchBot строит индекс для поиска в ChatGPT. ChatGPT-User действует по запросу пользователя и, по словам самой OpenAI, не обходит сайты автоматически.

Семь - маленькая цифра, и это нормально для канала. Переходов людей по ссылкам из ответов нейросетей мало у всех, и Prodvig.ai говорит это клиентам первым. Главное влияние происходит без перехода: человек прочитал ответ, запомнил название и пришёл позже напрямую или через поиск. Поэтому видимость в ответах меряют отдельно от трафика.

## Какие статьи краулеры читают чаще?

**Главное**

На моём блоге самая читаемая краулерами статья получила 47 визитов за месяц, у следующих - по 20-30. Машинную текстовую версию статей краулеры брали по 2-4 раза за месяц на статью. Чаще читают статьи с прямыми ответами на частые вопросы и плотными фактами.

Разброс между статьями заметен: из полутора сотен страниц у верхних визитов в разы больше, чем у остальных. Ровного правила «краулеры любят такую тему» по одному месяцу я не вывожу. Но верхние статьи объединяет форма: заголовки-вопросы, короткий ответ сразу под заголовком, таблицы, конкретные цифры и источники.

У каждой статьи моего блога есть текстовая версия без оформления и общий файл-оглавление для нейросетей. Краулеры этим пользуются, хотя и не массово: текстовую версию запрашивают по несколько раз в месяц. Как устроен такой файл, я писал в статье [llms.txt для сайта](/guides/llms-txt-dlya-sayta).

## Как устроить блог, чтобы его брали в ответы

**Главное**

Писать на вопросы, которые покупатель задаёт нейросети, отвечать на них в первых строках раздела, подкреплять фактами со ссылками, давать машиночитаемую версию и сообщать поисковикам о новых статьях сразу. И мерить: краулеров на сайте и упоминания в ответах.

1. **Темы из вопросов покупателей**

   Не «новости компании», а ответы на то, что спрашивают перед покупкой: как выбрать, сколько стоит, чем отличается, что проверить. Пробелы, где нейросеть отвечает без тебя, - лучший источник тем.

2. **Ответ сразу под заголовком**

   Каждый раздел начинается с прямого ответа в два-три предложения. Модель забирает в ответ фрагменты, и фрагмент должен быть понятен сам по себе.

3. **Факты с источниками**

   Цифра, дата, имя источника в том же абзаце. Модели охотнее опираются на текст, где факт подтверждён.

4. **Машиночитаемый слой**

   Текстовая версия статей, файл-оглавление для нейросетей, микроразметка, открытый доступ краулерам в настройках сайта.

5. **Быстрое уведомление поисковиков**

   Новая статья сразу уходит в Яндекс и Bing через IndexNow. На моём блоге робот Яндекса приходит через минуты после выхода, подробности в разборе [IndexNow: статья у Яндекса за минуты](/guides/indexnow-novaya-statya-v-yandekse).

Если статьи пишет [ИИ-агент](/concepts/ai-agent), эти правила стоит зашить в его инструкцию и проверки, а не держать в голове. У меня так и устроено: статья не уходит в публикацию, пока не прошла проверку структуры, фактов и ссылок.

## Чего блог не даст

**Главное**

Блог не гарантирует, что нейросеть назовёт компанию. Он даёт площадку и материал. Назовёт или нет, решает модель, и это видно только замером ответов на вопросы покупателей по дням. Визиты краулеров - входной сигнал, упоминание в ответе - результат.

Счётчик краулеров показывает, что тексты читают. Он не показывает, что модель их использовала и в каком виде. Для этого нужен замер: задавать нейросетям вопросы покупателя без имени бренда и смотреть, кого они называют и на какие источники ссылаются. Этим занимается Prodvig.ai, и связка «краулеры читают» плюс «модель называет» даёт полную картину.

Второе ограничение - один свой блог редко перевешивает внешние площадки. Если о компании пишут только на её сайте, модель может сомневаться. Блог хорошо работает в паре с упоминаниями там, где нейросети уже ищут.

## Частые вопросы

**Главное**

Спрашивают, нужна ли статьям отдельная текстовая версия, стоит ли закрывать обучающих краулеров, как часто публиковать статьи и можно ли писать статьи блога нейросетью.

### Частые вопросы

**Нужна ли статьям отдельная текстовая версия для нейросетей?**

Не обязательна, но полезна: краулеру проще прочитать чистый текст без меню, кнопок и скриптов. На моём блоге такую версию запрашивают по несколько раз в месяц на статью. Если сайт отдаёт нормальную страницу без сложных скриптов, начинать можно и без неё.

**Стоит ли закрывать краулеров, которые собирают данные для обучения?**

Для блога, задача которого - чтобы о компании знали, обычно нет: закрыв их, ты убираешь свои формулировки из будущих версий моделей. Закрывать стоит разделы, которые не должны попасть никуда: личные кабинеты, черновики, служебные страницы.

**Как часто публиковать статьи, чтобы краулеры приходили?**

Регулярность важнее частоты. Краулеры обычного поиска чаще обходят сайты, которые часто обновляются, а уведомление при публикации снимает зависимость от их расписания. Одна сильная статья в неделю полезнее пяти слабых.

**Можно ли писать статьи блога нейросетью?**

Можно, если в статье есть то, чего нет у других: свой опыт, свои цифры, проверенные факты. Пересказ чужих статей нейросетью модели находят и без тебя. Ценность блога - в собственной фактуре автора.

## Главный вывод

**Главное**

Блог компании читают не только люди: за месяц на моём блоге больше половины опознанных визитов - краулеры, собирающие тексты для обучения моделей, ещё 15% - краулеры AI-поиска, а несколько визитов - модель, которая читала статью ради живого вопроса пользователя. Чтобы блог брали в ответы, его пишут на вопросы покупателей, с прямыми ответами и фактами.

Счётчик краулеров показывает вход в воронку: тексты читают. Результат виден в замере ответов нейросетей, и смотреть надо на обе части.

Практический шаг: попроси того, кто ведёт сайт, выгрузить из логов визиты краулеров за месяц по именам. Даже грубая таблица покажет, читают ли нейросети твой сайт вообще.

Какие вопросы твоих покупателей сейчас остаются без статьи на твоём сайте?

### Источники

- [Prodvig.ai - чек-лист сайта для AI-краулеров: доступ ботам, машиночитаемый слой, форма контента](https://prodvig.ai/sayt-dlya-ai/)
- [Overview of OpenAI Crawlers - GPTBot, OAI-SearchBot и ChatGPT-User, OpenAI](https://developers.openai.com/api/docs/bots)
- [Common Crawl - открытый архив веба, из которого учатся модели](https://commoncrawl.org/)
- [Prodvig.ai - частые вопросы о продвижении в нейросетях: трафик, замер, сроки](https://prodvig.ai/faq/)