# GEO-эксперимент с одной страницей: как оценить эффект правки

Как поставить GEO-эксперимент на одной странице: выбрать контрольные вопросы, посчитать разницу изменений и решить, стоит ли повторять правку на сайте.

URL: https://posts.danashkin.ru/guides/geo-eksperiment-s-odnoy-stranicey
Обновлено: 2026-11-15

---

**Главное**

GEO-эксперимент с одной страницей показывает, стоит ли повторять конкретную правку. До публикации закрепи целевые и контрольные вопросы, сохрани ответы и задай критерий успеха. После правки сравни, как изменились обе группы, и проверь, попал ли новый фрагмент в сами ответы.

Ты добавил на страницу таблицу отступов, и через неделю нейросети стали чаще приводить верный отступ со ссылкой на справку. Кажется, пора добавлять такие таблицы везде. Открываешь соседние вопросы, которых страница даже не касается, и там тоже видишь рост. Что теперь делать с красивым графиком?

Я бы пока оставил таблицу там, где она помогает покупателю, и отложил массовую переделку. Разберём, как отделить колебание от результата правки.

## Какой результат проверяет GEO-эксперимент?

**Главное**

Свяжи проверку с одним новым фрагментом и ответом, который можно однозначно засчитать. Формулировка «ответ называет нужный отступ и приводит нашу страницу» оставляет меньше места для догадок, чем «нейросети стали лучше нас понимать».

Представь сервис печати фотокниг. Клиенты регулярно спрашивают, какой отступ нужен от края страницы, чтобы подпись не обрезали при печати. На целевой странице точные отступы уже есть, но они спрятаны в длинных абзацах под разными подзаголовками. Ты переносишь те же значения в одну таблицу с названиями форматов. Проверяем влияние ясной подачи: условия печати и адрес страницы остаются прежними.

Это учебный сюжет. Мы используем его, чтобы увидеть работу метода, без данных клиентов или обещаний роста.

Для каждой группы заранее выбери проверяемый факт и соответствующий адрес. Зачёт в обеих группах устроен одинаково: ответ правильно передал факт и сослался на страницу, где этот факт можно проверить. В целевой группе проверь отступ для заданного формата, на который рассчитана новая таблица. В контрольной группе возьми сопоставимый факт из неизменной справки, например разрешение обложки для другого формата. Отдельно отмечай упоминание бренда и ссылку без факта: они помогут понять, что именно изменилось.

В [методике Prodvig.ai](https://prodvig.ai/metriki/) присутствие бренда, рекомендации и источники разведены по разным показателям. Здесь та же дисциплина на уровне одного опыта. Если в середине наблюдения решить, что простого упоминания достаточно, придётся вернуться и размечать весь период заново. Иначе цифры до и после будут отвечать на разные вопросы. О том, как отличить эти события в ответе, есть отдельный [разбор упоминаний, ссылок и рекомендаций](/guides/upominanie-ssylka-rekomendaciya-v-neyrosetyah).

## Какие вопросы оставить для сравнения?

**Главное**

Целевые вопросы должны зависеть от изменённого фрагмента, а контрольные - решать похожую задачу на другой странице. Для обеих групп сохрани один режим поиска, регион, расписание и правило зачёта.

Целевые вопросы могут звучать так: «Какой отступ оставить у края страницы фотокниги этого формата?» и «На каком расстоянии от обреза можно поставить подпись?». Контрольные пусть спрашивают, какое разрешение нужно для обложки того же сервиса. Для обеих групп человеку нужна конкретная цифра, но контроль должен вести на отдельную неизменную страницу. Вопрос «Как сохранить семейные фотографии?» не подойдёт: он решает другую задачу.

Сделай две проверки до первого замера. Сначала открой целевую страницу и убедись, что правка действительно решит эти вопросы. Потом пройди контрольные и проверь, что в них по смыслу не нужен тот же текст. В ответах возможна общая документация, а изменения сайта способны затронуть обе группы. Если одна и та же таблица оказывается нужной и для расчёта разрешения обложки, подбери другое сравнение.

Прикинь и частоту вопросов внутри группы. Если один вопрос отвечает за половину строк, его поведение будет определять весь результат. В учебном примере для каждой группы можно взять по три вопроса и дать каждому одинаковое число попыток. В выгрузке оставь и итог группы, и строки по каждому вопросу. Тогда один удачный сценарий не затеряется в среднем и не получит вес трёх разных сценариев.

GEO-эксперимент начинается с сохранения исходных формулировок и каналов. Один и тот же вопрос в отдельном сеансе с поиском и в продолжении диалога с упоминанием бренда - разные условия. Человеку проще работать из списка, сохранённого рядом с журналом, чем каждое утро пытаться набрать «примерно то же самое».

## Журнал наблюдений до публикации

**Главное**

Запиши URL, содержание правки, начало окна замера и критерий зачёта. Сохраняй каждую попытку с текстом ответа и ссылкой. Тогда даже через месяц сможешь восстановить, из чего получился процент.

Минимальный журнал поместится на одном листе. В верхней строке дата, часовой пояс, вопрос, группа, канал и режим. Рядом результат показа, полный ответ или его сохранённая копия, ссылка и фрагмент, который подтверждает зачёт. Отдельно впиши точный адрес и опиши изменение одной фразой, которую сможет повторить редактор. «Добавили таблицу отступов по формату фотокниги» подходит. «Провели комплексную оптимизацию» пригодится для презентации, но для проверки такого описания мало.

В публичной методике Prodvig.ai описано сравнение до и после на тех же вопросах. Для опыта на одной странице рядом с исходной панелью я бы записал события, которые способны сдвинуть обе группы. Например, переезд сайта, массовое обновление карточек, технический сбой, анонс на отраслевой площадке или изменение интерфейса поиска.

Календарь таких изменений иногда объясняет график быстрее, чем ещё один прогон. Если данные приходят автоматически, попроси [агента](/concepts/ai-agent) собрать строки и сохранить оригиналы. Зачёт спорных ответов оставь человеку: ссылка рядом с названием компании может вести на статью, где нужного ограничения нет.

**Закрой критерий заранее**

Напиши, сколько наблюдений тебе нужно для рабочего решения и какой исход заставит остановиться. Если в основном канале почти нет показанных ответов, отчёт полезнее закончить выводом «данных мало», чем расширить критерий на ходу.

## Как посчитать изменение и понять, хватает ли данных?

**Главное**

В условном примере целевая доля выросла на 33,3 п.п., контрольная на 10 п.п. Разница изменений составляет 23,3 п.п. На такой выборке разброс велик, особенно если вопросы повторялись.

В таблице считаются только показанные ответы. До правки два ответа правильно передали отступ и сослались на абзацы той же справки. Периоды размечены по одному правилу. Попытки без ИИ-ответа регистрируй отдельно: если доля показов изменилась, сравни также результат в пересчёте на все попытки. Когда показов два, один зачёт даёт 50%. Следующий ответ без зачёта сдвинет долю до 33%, а с зачётом поднимет до 67%.

| Группа вопросов | До правки | После правки | Изменение |
| --- | --- | --- | --- |
| Целевая | 2 из 30, 6,7% | 12 из 30, 40% | +33,3 п.п. |
| Контрольная | 9 из 30, 30% | 12 из 30, 40% | +10 п.п. |

Из 33,3 п.п. целевого роста вычитаем 10 п.п. контрольного. Получаем 23,3 п.п. В столбце «После правки» обе доли равны 40%, хотя стартовали с разных уровней. При четырёх независимых ячейках по 30 ответов консервативный нормальный интервал составляет примерно от −12,5 до +59,1 п.п. Для оценки взята верхняя граница дисперсии: четверть для одного ответа, делённая на объём ячейки для доли. При двух зачётах в одной ячейке точный вывод по нормальному приближению делать рано.

Если ответы на один вопрос в одном канале или за один день похожи, они дают меньше информации, чем независимые наблюдения. При такой положительной зависимости интервал будет шире расчёта по независимым ответам. Три вопроса с множеством повторов не дают надёжной оценки разброса между вопросами. Если нужен количественный вывод, заранее расширь набор сопоставимых вопросов и периодов и учитывай их группировку.

При планировании равных ячеек и независимых ответов используй консервативный ориентир: n на ячейку ≈ (1,96 + 0,842)² / δ², где δ - разница изменений в долях. При четырёх ячейках верхняя граница дисперсии разницы изменений равна 4 × 0,25 / n = 1 / n. При двустороннем уровне 5% и мощности 80% это около 785 на ячейку для 10 п.п. или 88 для 30 п.п. Справочник NIST объясняет принцип расчёта для одной доли. Формула здесь выведена для разницы изменений в четырёх ячейках.

Метод сравнения с контрольной группой есть и в [SEO-тестах SearchPilot](https://www.searchpilot.com/resources/blog/what-is-seo-split-testing), где измеряют трафик страниц. Здесь объект измерения другой. До изменения посмотри несколько периодов и проверь, насколько похожи тренды групп: одна строка «до» этого не покажет.

## Как проверить, что двигалось именно после правки?

**Главное**

Раскрой новые зачтённые ответы и найди в них ссылку и факт из правки. Раздели результаты по каналам и посмотри календарь других изменений. Похожий рост на контрольных вопросах или рост только в новом канале требует перепроверки.

Допустим, отдельно выросло число простых упоминаний: из шести новых ответов пять ссылаются на старую инструкцию партнёра, шестой на главную. Ни один из них не попадает в число зачтённых по основному критерию, пока нет верного факта и ссылки на подходящую страницу. Если в нескольких ответах появилась ссылка на изменённую документацию и отступ передан корректно, это подтверждает, что факт из таблицы есть в этих ответах, хотя ещё не доказывает, что правка подняла их долю. Запиши его дословно. Параллельно проверь, нет ли той же информации у другого источника, который мог выйти в этот период.

Проверь доступность изменённой страницы. Ответ сервера с новым текстом, дата обхода в доступной тебе статистике и сам факт появления цитаты - разные события. Обновление страницы вчера вечером даёт хороший повод перепроверить её доступность сегодня. Для оценки сдвига пригодится полноценное окно наблюдения. Что влияет на ожидание, разбираю в статье [о сроках GEO-продвижения](/guides/skolko-zhdat-rezultata-ot-geo). Примеры регулярной сверки вопросов и источников собраны в [методике Prodvig.ai](https://prodvig.ai/kak-prodvigaem/).

Если редактировать сайт прямо сейчас нужно по делу, редактируй. Просто отметь совместные изменения и не приписывай сдвиг единственной правке. Массовое обновление каталога может быть хорошей работой само по себе. Отчёт об эксперименте от этого становится менее определённым, и это нормальное свойство данных.

## Решение о следующей странице

**Главное**

На 30 ответах в ячейке оцени, стал ли точный факт встречаться со ссылкой. Для вывода о росте доли заранее определи эффект, который имеет смысл измерять, и доступный объём наблюдений.

На одной странице часто нет смысла набирать сотни ответов на каждую ячейку. Если для решения достаточно крупного эффекта около 30 п.п. и есть объём примерно 88 независимых ответов на ячейку, можно спланировать отдельный замер с фиксированным сроком. При повторении одних вопросов этот ориентир придётся пересчитать с учётом зависимости.

Если такого объёма нет, оставь полезную покупателю таблицу и проверь качественный признак: появился ли точный отступ со ссылкой на обновлённую справку. Сохрани реальные фрагменты ответов и даты. Они покажут, как факт теперь цитируют, а оценка его прироста пока остаётся неопределённой. Если меняются источники, пригодится [разбор смены ссылок](/guides/neyroset-ssylaetsya-na-raznye-sayty).

### Частые вопросы

**Можно ли провести проверку без платформы?**

Да. Для одной страницы подойдут одинаковые сеансы в выбранном поисковом режиме и таблица с полными ответами. Вручную особенно важно заранее закрепить время, вопросы и правила зачёта.

**Нужно ли приостанавливать остальные правки на сайте?**

Запланируй окно без изменений, которые прямо влияют на целевые или контрольные вопросы. Срочные работы проведи и отметь в журнале. Если они затронули обе группы, результат пригодится как описание периода, а для оценки отдельной правки лучше выбрать другой.

**Что считать главным результатом, если цель состоит в продажах?**

В этом опыте измеряется действие источника в генеративных ответах. Заявки и продажи изучаются по отдельным данным. Связывать их с правкой можно при достаточном объёме и понятном способе отследить переход или обращение.

Начни с одной строки: «После изменения этой страницы нейросеть станет чаще давать такой ответ». У тебя есть похожие вопросы, которых правка не касается?

### Источники

- [Prodvig.ai - сервис ежедневного замера видимости бренда в ответах нейросетей: вопросы, наблюдения и карты источников](https://prodvig.ai)
- [Prodvig.ai: определения метрик и знаменатели](https://prodvig.ai/metriki/)
- [SearchPilot: схема SEO-эксперимента с контрольными страницами](https://www.searchpilot.com/resources/blog/what-is-seo-split-testing)
- [NIST: принцип расчёта объёма выборки при проверке одной доли](https://www.itl.nist.gov/div898/handbook/prc/section2/prc242.htm)
