Дизайн GEO-эксперимента: гипотезы, переменные и методы атрибуции

Четыре этапа GEO-эксперимента: гипотеза, контроль переменных, прогон и выборка, атрибуция результата

Дизайн GEO-эксперимента: гипотезы, переменные и методы атрибуции

Сначала вывод: GEO (оптимизация под генеративные движки) не работает по принципу «опубликовали статью — ждём результата». Это должен быть эксперимент с прослеживаемой атрибуцией. Квалифицированный GEO-эксперимент отвечает трём условиям: фиксированный набор из 30–50 вопросов в качестве эталона, изменение только одной переменной за раз, контрольный период с базовой линией не менее 2 недель. Результат признаётся при двух жёстких порогах — чистый прирост ≥10 процентных пунктов и полный прогон 6–8 недель. Иначе любой «рост цитируемости» может оказаться шумом от обновления версии модели или колебаний всего рынка.

Почему GEO требует дизайна эксперимента, а не подхода «запустили и смотрим»

У классического SEO есть страница результатов поиска: колебания позиций можно отслеживать ежедневно и сравнивать с изменениями конкурентов за тот же период. GEO имеет дело с ответами на естественном языке, которые генерирует большая модель: на один и тот же вопрос сегодня и завтра ответы могут отличаться; при смене IP, аккаунта или часового пояса — тоже. Без фиксированного эталона и контрольного дизайна команда чаще всего попадает в замкнутый круг: в этом месяце цитируют больше — празднуем; в следующем меньше — начинаем гадать, не испортили ли какую-то статью. Никакого вывода посередине нет.

Это та же трудность, что и в Атрибуция лидов: много точек контакта, длинный путь — без дизайна атрибуции остаётся полагаться на ощущения. Разница в том, что «пользователь» в GEO — это модель: поведение стабильнее, но менее наблюдаемо, поэтому тем важнее вручную проектировать контролируемые эксперименты и приоткрыть чёрный ящик.

Частая ошибка	Последствия	Правильный подход
Смотрим на цитируемость через неделю после правок	Выборки мало, результат случаен	Контрольная базовая линия — полные 6–8 недель
Меняем одновременно заголовок, структуру и внешние ссылки	Невозможно атрибутировать конкретному действию	Меняем только одну переменную за раз
Каждый раз новый набор вопросов для замера	Выборка дрейфует, тренды несопоставимы	Фиксированный набор вопросов, переиспользуемый из квартала в квартал
Смотрим только на упоминания собственного бренда	Упускаем общие изменения по рынку	Добавляем нейтральный контрольный запрос
Спрашиваем один раз и считаем результат	Сэмплирование модели само по себе случайно	Каждый запрос прогоняем 3 раза и берём моду

Шаг второй: зафиксировать гипотезу до начала эксперимента

GEO-гипотеза должна допускать опровержение. Хорошая гипотеза выглядит так: «После добавления в блок FAQ трёх сравнительных данных с цифрами цитируемость бренда по целевому набору вопросов вырастет с базовых X% до Y% и выше». Плохая гипотеза выглядит так: «Улучшим контент, надеемся, AI будет чаще нас цитировать». Последнюю нельзя опровергнуть, а значит, и эксперимент по ней не поставить.

Гипотезу нужно привязать к конкретным переменным. Переменные делятся на три уровня: уровень страницы (заголовок, структура H2, ответ в первом абзаце, плотность таблиц, разметка Schema), уровень сайта (структура внутренних ссылок, частота сканирования, передача веса страниц) и внешний уровень (источники фактов, на которые ссылаются сторонние сайты, статьи в Википедии и энциклопедиях, пресс-релизы). Переменные этих трёх уровней нельзя смешивать в одном эксперименте. Как формировать набор вопросов, смотрите в Ежемесячный мониторинг фиксированного набора вопросов и извлечение запросов из внутреннего поиска.

Тип гипотезы	Пример формулировки	Ожидаемый показатель	Срок проверки
Гипотеза уровня страницы	Цифровой ответ в первом абзаце — рост цитируемости на 10 п.п.	Доля цитирований, позиция первого цитирования	4–6 недель
Гипотеза уровня структуры	Добавление сравнительной таблицы повышает цитируемость фактических ответов	Доля попаданий структурированных ответов	6–8 недель
Гипотеза внешнего уровня	После добавления сторонних источников фактов растёт частота упоминания бренда	Частота упоминания бренда, доля искажений	8–12 недель
Гипотеза уровня сущности	После добавления разметки организации ИИ корректно распознаёт полное название компании	Точность распознавания сущности	6–8 недель

III. Шаг второй: контроль переменных и дизайн сравнения

Суть эксперимента — «держать остальные переменные неизменными». У независимых B2B-сайтов трафик невелик, поэтому строгое A/B-разделение (половину пользователей на старую версию, половину на новую) провести сложно. Поэтому в GEO-экспериментах чаще используют сравнение временных рядов: сначала замеряют базовый уровень за 2 недели, затем вносят изменения, затем замеряют ещё 6 недель и смотрят разницу до и после.

Три помехи, которые обязательно нужно зафиксировать. Первая: набор вопросов не меняется, вплоть до формулировок. Вторая: условия сбора данных не меняются — тот же регион, то же состояние аккаунта, то же время суток. Третья: сохраняйте контрольные запросы — прогоняйте несколько нейтральных запросов, не связанных с вашими изменениями. Если они тоже изменились, значит, дело в обновлении версии модели или в отраслевом шуме, а не в вашей работе. Как выстраивать уровни контента, смотрите в три уровня контента: факты, мнения, утверждения.

Контролируемый параметр	Требования базового периода	Требования экспериментального периода	Частые точки потери контроля
Набор вопросов	30–50 штук с покрытием категорий	Тот же набор, без добавлений и сокращений	Добавление новых запросов на ходу ради результата
Условия сбора данных	Фиксированные регион IP, язык, время	Полностью идентичны	Прогон через разные сети — домашнюю и офисную
Контрольная группа	5–8 нейтральных запросов	Постоянный мониторинг	Забыли задать контрольную группу
Версия модели	Зафиксировать номер текущей версии	При смене версии нужно заново замерять базовый уровень	Сравнение сразу после крупного обновления версии модели
Область страниц	Меняем только целевые страницы	Остальные страницы замораживаем	Заодно поменяли навигацию и стили всего сайта

IV. Шаг третий: метод сбора данных и четыре ключевых показателя

Каждый запрос нельзя задавать только один раз. У больших моделей есть параметр температуры: на один и тот же вопрос три раза подряд источники цитирования могут быть разными. Стандартный подход — задавать каждый запрос по 3 раза, считать, сколько раз в ответе встречается ваш домен, и брать моду как результат по этому запросу; цитированием считается появление 2 и более раз из 3. Прогон делают раз в неделю в одно и то же время, чтобы разница в трафике между буднями и выходными не искажала оценку.

Четыре ключевых показателя по приоритету: доля цитирований (в какой части целевых запросов в ответе упоминается ваш домен), позиция первого цитирования (каким по счёту источником вас называют в ответе — первый весит больше всего), частота упоминания бренда (правильно ли в ответе указано название компании/продукта), доля негативных искажений (есть ли в ответе фактические ошибки о вас). Как собрать панель мониторинга, см.Панель мониторинга цитирований в AI-движках.

Показатель	Базовый референсный диапазон	Порог значимого роста	Инструмент/способ сбора данных
Доля цитирований	Для нового сайта 5–15%	Чистый рост ≥10 п.п.	Ручная/API-выборка по каждому вопросу из набора
Позиция первого цитирования	С 3-го по 8-е место	Доля попаданий в топ-3 ≥30%	Порядок появления домена в тексте ответа
Частота упоминания бренда	30–60%	Рост ≥15 п.п.	Регулярное выражение по полному/сокращённому названию компании
Доля негативных искажений	До 5% — норма	Рост запускает процесс исправления	Ручная проверка + алерт по ключевым словам
Доля принятых ответов	Зависит от отрасли	Рост неделя к неделе 3 недели подряд	Сравнение по фиксированным недельным раундам

Пять, шаг четвёртый: атрибуция, отсекаем рыночный шум

После завершения эксперимента сначала посмотрите на контрольные запросы. Если контрольная группа тоже выросла на 5 процентных пунктов, значит это рыночный дрейф из-за обновления версии модели или изменения отраслевого интереса, и эту часть нужно вычесть из вашего реального чистого роста. Чистый рост = изменение экспериментальной группы минус изменение контрольной. Только если чистый рост достигает порога, действие признаётся эффективным.

Другая частая ловушка — «корреляция не равна причинности». Например, вы изменили страницу, одновременно в отрасли вышла новость, похожая на ваш случай, и частота цитирования вас в AI-ответах выросла — возможно, это эффект новостного события, а не вашего изменения страницы. В таком случае пометьте эксперимент как «под вопросом» и повторите то же изменение в следующем раунде, чтобы проверить воспроизводимость. Одно воспроизведение — это подтверждение, два — уже вывод. Как выбирать источники фактов, см.Внешние источники фактов и AI-ответы.

Ситуация атрибуции	Сигнал для суждения	Что делать с выводом
Экспериментальная группа растёт, контрольная стоит на месте	Чистый рост достигает порога, воспроизводится	Действие эффективно, закрепляем и масштабируем
Экспериментальная группа растёт, контрольная тоже растёт	Синхронный рыночный дрейф	Вычитаем и судим заново, возможно, эффекта нет
Экспериментальная группа растёт, контрольная падает	Похоже на перехват доли	Эффективно, смотрим в первую очередь на позиции конкурентов
Экспериментальная группа падает, контрольная стоит на месте	У изменения есть побочный эффект	Откатываем, ищем конкретную точку вреда
Всё резко колеблется	Период обновления версии модели	Приостанавливаем суждение, ждём стабилизации версии

Шесть, ритм экспериментов: как составить расписание одному

Небольшой команде не стоит запускать три эксперимента одновременно. Рекомендуемый квартальный ритм: одна основная гипотеза на квартал, 6–8 недель на прогон; параллельно каждую неделю прогоняем мониторинг по набору вопросов, а повседневная поддержка целевых страниц не трогает их. Повторное использование одного и того же набора запросов из квартала в квартал — единственный способ увидеть годовую динамику. При командной работе границы между производством контента и ручной работой с AI описаны в AI-контент и границы ручной работы.

Этап	Длительность	Действие	Результат
Базовый период	2 недели	Прогоняем набор вопросов, фиксируем четыре показателя	Карточка базовых данных
Период изменений	1 неделя	Запуск одного изменения	Список изменений
Период наблюдения	4–6 недель	Еженедельный прогон с контрольной группой	Таблица недельного мониторинга
Период атрибуции	1 неделя	Вычесть общий фон, оценить чистый прирост	Карточка выводов эксперимента
Период разбора	1 неделя	Работает — закрепляем, не работает — в архив	Список гипотез на следующий квартал

FAQ: частые вопросы

Сколько минимум должен длиться GEO-эксперимент, чтобы получить выводы?

6–8 недель — это минимальный порог. Первые 2 недели — на базовую линию, следующие 4–6 недель — на наблюдение, последняя неделя — на атрибуцию. Результаты короче 4 недель можно использовать только как ориентир, но не как основание для решения «это действие работает»: у самих больших моделей есть недельные колебания выборки и обновления версий. Если у вашего сайта мало трафика и низкая база цитирований, лучше растянуть до 10 недель, чем делать выводы по данным за 2 недели.

Можно ли обойтись без контрольной группы и просто посмотреть, вырос ли я после изменений?

Нет. Без контрольной группы вы не отличите «моё действие сработало» от «весь рынок и версии моделей растут». Самый дешёвый способ — взять из набора вопросов 5–8 нейтральных query, не связанных с вашими изменениями, в качестве контрольной группы и прогонять их каждую неделю вместе с остальными. Амплитуда их синхронных колебаний — это шум, и его нужно вычесть из результатов экспериментальной группы. Эти 5–8 query не требуют дополнительных вложений в контент, нужно лишь прогнать их несколько раз.

Можно ли в одном эксперименте проверить два изменения сразу?

Не рекомендуется, если только изменения не сильно связаны и вы готовы к размытой атрибуции. В GEO выборка небольшая, шума много: если одновременно поменять заголовок и добавить внешние ссылки, то даже при росте вы не поймёте, что именно сработало, и не сможете повторить результат. Правильный подход — последовательный: сначала тестируем изменения на уровне страницы, закрепляем, потом тестируем внешний уровень. Если ресурсов совсем мало, хотя бы разведите два изменения по разным страницам и попробуйте различить их через межстраничное сравнение.

Как выбрать целевой набор вопросов и сколько штук взять?

30–50 штук — оптимально для команды из одного человека. Источники по приоритету: поисковые запросы внутри сайта, частые вопросы от поддержки, темы, по которым у вас уже есть контент и вы хотите попасть в цитирования, вопросы из FAQ конкурентов. Разделите на четыре категории примерно по четверти: брендовые слова, продуктовые слова, общие отраслевые слова, слова для сравнения и выбора. Держите набор неизменным каждый квартал, добавляйте не более 10 штук только при появлении новой бизнес-линии и отдельно помечайте новые и старые образцы.

Автоматическая выборка через API или ручные запросы?

Сначала вручную прогоните 5–10 штук, чтобы понять формат, потом переходите на массовые прогоны через API. Обратите внимание на три момента: фиксируйте параметры региона и системный промпт, чтобы вас не распознали как бота; добавляйте случайную задержку для каждого query; прогоняйте 3 раза и берите моду. Чисто вручную 50 query в неделю — это 2–3 часа, после автоматизации можно уложиться в 20 минут. Метод анализа логов смотрите в анализе логов AI-краулеров.

Что делать, если эксперимент провалился, откатывать сразу?

Сначала проверьте, действительно ли это провал. Если контрольная группа падает синхронно или как раз вышла новая крупная версия модели — это не провал. Убедитесь, что чистое падение превышает 5 процентных пунктов и держится 2 недели без отскока, — тогда откатывайте и фиксируйте, какое именно изменение навредило. Неудачный эксперимент тоже ценен: он исключает одну гипотезу. Записать вывод о провале в квартальную базу разборов гораздо важнее, чем любой ценой выкатить изменение, которое не работает.

В заключение

Главное отличие GEO от классического SEO в том, что его “результат” спрятан в естественном языке, который генерирует модель, а не лежит перед вами строкой с цифрами, как позиция в выдаче. Именно потому, что его не видно, эксперимент тем более нужно превратить в процесс: фиксированный набор вопросов, контроль переменных, сохранённая база сравнения, полный цикл наблюдения, поправка на общий фон рынка. Без этого команда каждый месяц качается между “кажется, стало лучше” и “кажется, стало хуже”, а за год не остаётся ни одного вывода, на который можно опереться.

Начинать стоит с минимального замкнутого цикла: в этом квартале — только одна гипотеза, набор из 30 вопросов, 2 недели на базовые замеры, изменение одной переменной, 6 недель наблюдения. Пройти за квартал один полный цикл куда полезнее, чем развернуть десять “действий по оптимизации GEO” одновременно. Сложный процент в GEO даёт воспроизводимая методика экспериментов, а не разрозненные попытки.

Фраза, которую стоит запомнить: оптимизация GEO без контрольной группы — это броски по кольцу с завязанными глазами: попадёшь или нет — дело случая, а следующий матч снова начинаешь с нуля.