Дмитрий Анашкин

GEO-эксперимент с одной страницей: как оценить эффект правки

Опубликовано 15 нояб. 2026 г.9 мин чтенияНачальный
GEO-эксперимент с одной страницей: как оценить эффект правки
Плейбук
GEO-эксперимент с одной страницей
Дмитрий Анашкин · 9 мин
Чему вы научитесь
  • Как выбрать вопросы, на которых правка способна сказаться
  • Как учесть движение контрольных ответов
  • Когда переносить правку на следующие страницы
Начальный
1просмотров

Ты добавил на страницу таблицу отступов, и через неделю нейросети стали чаще приводить верный отступ со ссылкой на справку. Кажется, пора добавлять такие таблицы везде. Открываешь соседние вопросы, которых страница даже не касается, и там тоже видишь рост. Что теперь делать с красивым графиком?

Я бы пока оставил таблицу там, где она помогает покупателю, и отложил массовую переделку. Разберём, как отделить колебание от результата правки.

Какой результат проверяет GEO-эксперимент?

Представь сервис печати фотокниг. Клиенты регулярно спрашивают, какой отступ нужен от края страницы, чтобы подпись не обрезали при печати. На целевой странице точные отступы уже есть, но они спрятаны в длинных абзацах под разными подзаголовками. Ты переносишь те же значения в одну таблицу с названиями форматов. Проверяем влияние ясной подачи: условия печати и адрес страницы остаются прежними.

Это учебный сюжет. Мы используем его, чтобы увидеть работу метода, без данных клиентов или обещаний роста.

Для каждой группы заранее выбери проверяемый факт и соответствующий адрес. Зачёт в обеих группах устроен одинаково: ответ правильно передал факт и сослался на страницу, где этот факт можно проверить. В целевой группе проверь отступ для заданного формата, на который рассчитана новая таблица. В контрольной группе возьми сопоставимый факт из неизменной справки, например разрешение обложки для другого формата. Отдельно отмечай упоминание бренда и ссылку без факта: они помогут понять, что именно изменилось.

В методике Prodvig.ai присутствие бренда, рекомендации и источники разведены по разным показателям. Здесь та же дисциплина на уровне одного опыта. Если в середине наблюдения решить, что простого упоминания достаточно, придётся вернуться и размечать весь период заново. Иначе цифры до и после будут отвечать на разные вопросы. О том, как отличить эти события в ответе, есть отдельный разбор упоминаний, ссылок и рекомендаций.

Какие вопросы оставить для сравнения?

Целевые вопросы могут звучать так: «Какой отступ оставить у края страницы фотокниги этого формата?» и «На каком расстоянии от обреза можно поставить подпись?». Контрольные пусть спрашивают, какое разрешение нужно для обложки того же сервиса. Для обеих групп человеку нужна конкретная цифра, но контроль должен вести на отдельную неизменную страницу. Вопрос «Как сохранить семейные фотографии?» не подойдёт: он решает другую задачу.

Сделай две проверки до первого замера. Сначала открой целевую страницу и убедись, что правка действительно решит эти вопросы. Потом пройди контрольные и проверь, что в них по смыслу не нужен тот же текст. В ответах возможна общая документация, а изменения сайта способны затронуть обе группы. Если одна и та же таблица оказывается нужной и для расчёта разрешения обложки, подбери другое сравнение.

Прикинь и частоту вопросов внутри группы. Если один вопрос отвечает за половину строк, его поведение будет определять весь результат. В учебном примере для каждой группы можно взять по три вопроса и дать каждому одинаковое число попыток. В выгрузке оставь и итог группы, и строки по каждому вопросу. Тогда один удачный сценарий не затеряется в среднем и не получит вес трёх разных сценариев.

GEO-эксперимент начинается с сохранения исходных формулировок и каналов. Один и тот же вопрос в отдельном сеансе с поиском и в продолжении диалога с упоминанием бренда - разные условия. Человеку проще работать из списка, сохранённого рядом с журналом, чем каждое утро пытаться набрать «примерно то же самое».

Журнал наблюдений до публикации

Минимальный журнал поместится на одном листе. В верхней строке дата, часовой пояс, вопрос, группа, канал и режим. Рядом результат показа, полный ответ или его сохранённая копия, ссылка и фрагмент, который подтверждает зачёт. Отдельно впиши точный адрес и опиши изменение одной фразой, которую сможет повторить редактор. «Добавили таблицу отступов по формату фотокниги» подходит. «Провели комплексную оптимизацию» пригодится для презентации, но для проверки такого описания мало.

В публичной методике Prodvig.ai описано сравнение до и после на тех же вопросах. Для опыта на одной странице рядом с исходной панелью я бы записал события, которые способны сдвинуть обе группы. Например, переезд сайта, массовое обновление карточек, технический сбой, анонс на отраслевой площадке или изменение интерфейса поиска.

Календарь таких изменений иногда объясняет график быстрее, чем ещё один прогон. Если данные приходят автоматически, попроси агента собрать строки и сохранить оригиналы. Зачёт спорных ответов оставь человеку: ссылка рядом с названием компании может вести на статью, где нужного ограничения нет.

Закрой критерий заранее

Напиши, сколько наблюдений тебе нужно для рабочего решения и какой исход заставит остановиться. Если в основном канале почти нет показанных ответов, отчёт полезнее закончить выводом «данных мало», чем расширить критерий на ходу.

Как посчитать изменение и понять, хватает ли данных?

В таблице считаются только показанные ответы. До правки два ответа правильно передали отступ и сослались на абзацы той же справки. Периоды размечены по одному правилу. Попытки без ИИ-ответа регистрируй отдельно: если доля показов изменилась, сравни также результат в пересчёте на все попытки. Когда показов два, один зачёт даёт 50%. Следующий ответ без зачёта сдвинет долю до 33%, а с зачётом поднимет до 67%.

Группа вопросовДо правкиПосле правкиИзменение
Целевая2 из 30, 6,7%12 из 30, 40%+33,3 п.п.
Контрольная9 из 30, 30%12 из 30, 40%+10 п.п.

Из 33,3 п.п. целевого роста вычитаем 10 п.п. контрольного. Получаем 23,3 п.п. В столбце «После правки» обе доли равны 40%, хотя стартовали с разных уровней. При четырёх независимых ячейках по 30 ответов консервативный нормальный интервал составляет примерно от −12,5 до +59,1 п.п. Для оценки взята верхняя граница дисперсии: четверть для одного ответа, делённая на объём ячейки для доли. При двух зачётах в одной ячейке точный вывод по нормальному приближению делать рано.

Если ответы на один вопрос в одном канале или за один день похожи, они дают меньше информации, чем независимые наблюдения. При такой положительной зависимости интервал будет шире расчёта по независимым ответам. Три вопроса с множеством повторов не дают надёжной оценки разброса между вопросами. Если нужен количественный вывод, заранее расширь набор сопоставимых вопросов и периодов и учитывай их группировку.

При планировании равных ячеек и независимых ответов используй консервативный ориентир: n на ячейку ≈ (1,96 + 0,842)² / δ², где δ - разница изменений в долях. При четырёх ячейках верхняя граница дисперсии разницы изменений равна 4 × 0,25 / n = 1 / n. При двустороннем уровне 5% и мощности 80% это около 785 на ячейку для 10 п.п. или 88 для 30 п.п. Справочник NIST объясняет принцип расчёта для одной доли. Формула здесь выведена для разницы изменений в четырёх ячейках.

Метод сравнения с контрольной группой есть и в SEO-тестах SearchPilot, где измеряют трафик страниц. Здесь объект измерения другой. До изменения посмотри несколько периодов и проверь, насколько похожи тренды групп: одна строка «до» этого не покажет.

Как проверить, что двигалось именно после правки?

Допустим, отдельно выросло число простых упоминаний: из шести новых ответов пять ссылаются на старую инструкцию партнёра, шестой на главную. Ни один из них не попадает в число зачтённых по основному критерию, пока нет верного факта и ссылки на подходящую страницу. Если в нескольких ответах появилась ссылка на изменённую документацию и отступ передан корректно, это подтверждает, что факт из таблицы есть в этих ответах, хотя ещё не доказывает, что правка подняла их долю. Запиши его дословно. Параллельно проверь, нет ли той же информации у другого источника, который мог выйти в этот период.

Проверь доступность изменённой страницы. Ответ сервера с новым текстом, дата обхода в доступной тебе статистике и сам факт появления цитаты - разные события. Обновление страницы вчера вечером даёт хороший повод перепроверить её доступность сегодня. Для оценки сдвига пригодится полноценное окно наблюдения. Что влияет на ожидание, разбираю в статье о сроках GEO-продвижения. Примеры регулярной сверки вопросов и источников собраны в методике Prodvig.ai.

Если редактировать сайт прямо сейчас нужно по делу, редактируй. Просто отметь совместные изменения и не приписывай сдвиг единственной правке. Массовое обновление каталога может быть хорошей работой само по себе. Отчёт об эксперименте от этого становится менее определённым, и это нормальное свойство данных.

Решение о следующей странице

На одной странице часто нет смысла набирать сотни ответов на каждую ячейку. Если для решения достаточно крупного эффекта около 30 п.п. и есть объём примерно 88 независимых ответов на ячейку, можно спланировать отдельный замер с фиксированным сроком. При повторении одних вопросов этот ориентир придётся пересчитать с учётом зависимости.

Если такого объёма нет, оставь полезную покупателю таблицу и проверь качественный признак: появился ли точный отступ со ссылкой на обновлённую справку. Сохрани реальные фрагменты ответов и даты. Они покажут, как факт теперь цитируют, а оценка его прироста пока остаётся неопределённой. Если меняются источники, пригодится разбор смены ссылок.

Частые вопросы

Начни с одной строки: «После изменения этой страницы нейросеть станет чаще давать такой ответ». У тебя есть похожие вопросы, которых правка не касается?

Источники

Отправь другу или себе в избранное в Telegram, чтобы не потерять.

Поделиться в Telegram
Было полезно?
Автор
Дмитрий Анашкин
Практик-интегратор ИИ в бизнес

Основатель NeuroDA и SMAIPL. Корпоративные воркшопы по ИИ, внедрение AI в бизнес-процессы.

Похожие гайды

Перепечатки в источниках нейросети: как найти общий первоисточник

В ответе нейросети четыре ссылки: объявление компании, его пересказ, обзор с одним контрольным заказом и каталог без ссылки на источник. Как проследить происхождение факта и посчитать независимые подтверждения отдельно от числа адресов.

8 мин

GEO-замер по этапам выбора: какие вопросы задаёт покупатель

Одно среднее число по нейросетям скрывает разницу между «что вообще выбрать» и «подойдёт ли этот вариант нам». Разбираю, как собрать панель вопросов по задачам покупателя и использовать разрез, чтобы решить, какую страницу делать первой.

8 мин

Канонический адрес страницы: как разобрать дубли в отчёте GEO

В ответах нейросетей один и тот же материал может приходить по нескольким адресам. На примере своего блога показываю, как отличить метку кампании от отдельной версии, проверить канонический адрес и посчитать ссылки на материал.

8 мин

Как проверить ссылку в ответе нейросети по самому тексту

Ссылка рядом с уверенным ответом ещё не говорит, какой факт можно проверить. На примерах разбираю, как сопоставить утверждение с фрагментом страницы, увидеть подмену условия и записать результат так, чтобы коллега мог перепроверить.

8 мин

Связанные понятия