Дизайн GEO-эксперимента: контрольные группы, выбор метрик, объём выборки и статистическая значимость
I. Почему «посмотрел на рост и падение» в GEO не считается выводом
В e-commerce A/B-тест за день набирает несколько тысяч показов, и за неделю можно посчитать значимость. GEO имеет дело с одним и тем же набором вопросов, которые снова и снова задают AI, — общая выборка изначально мала: 30 запросов по 3 прогона дают всего 90 наблюдений. На такой маленькой выборке прямое сравнение «до — 20%, после — 28%»: разрыв в 8 процентных пунктов вполне может оказаться просто колебанием настроения модели на этой неделе.
Поэтому в GEO нельзя слепо переносить p-value-процедуру интернет-A/B-тестов — её нужно заменить критерием «чистый прирост + воспроизведение»: сначала вычесть общий фон и параллельные изменения у конкурентов и получить чистый прирост; затем потребовать, чтобы этот чистый прирост повторился в следующем эксперименте. Базовая логика дизайна GEO-эксперимента — в статье Дизайн GEO-эксперимента: гипотезы, переменные и атрибуция; здесь мы дополняем только статистические детали.
| Как сделать | Вопрос | Правильный подход |
|---|---|---|
| Через неделю после правок смотрим рост и падение | Выборка слишком мала, случайные колебания | Гоняем 6–8 недель, вычитаем базовую линию |
| Сравниваем только «до» и «после» | Не вычли общий фон | Добавляем контроль по параллельным изменениям у конкурентов |
| Гонимся за большой выборкой | Наращивание запросов добавляет шума | Фиксируем 30–50 запросов |
| Делаем вывод по p-value | На малой выборке p-value нестабильно | Используем чистый прирост + воспроизведение |
| Выросло — закрепляем | Возможно, это обновление версии | Считаем выводом только после двух воспроизведений |
II. Выбор метрик: одна основная, две защитные
Метрик не должно быть много. В одном эксперименте задаётся только одна основная метрика, иначе по результатам вы выберете красивые и отчитаетесь ими — считай, ничего не сделали. Самая ходовая основная метрика в GEO — доля цитирований: доля целевых запросов, в ответах на которые упоминается ваш домен или название бренда.
Защитных метрик две, и их задача — не дать основной метрике одержать «ложную победу». Первая — позиция первого цитирования: доля цитирований выросла, но вы упали с первого места на пятое — это не победа. Вторая — доля фактических искажений: доля цитирований выросла, но в ответах начали путать параметры вашего продукта — это катастрофа, а не победа. Основная метрика растёт, любая защитная ухудшается — эксперимент проигран.
| Уровень метрик | Показатель | Определение | Ориентир по порогу |
|---|---|---|---|
| Основная метрика | Доля цитирований | Доля ответов с упоминанием вашего домена или бренда | Чистый прирост ≥10 п.п. |
| Ограничитель 1 | Позиция первого цитирования | На каком месте в ответе вас упоминают | Падение не более чем на 1 позицию |
| Ограничитель 2 | Доля фактических искажений | Доля фактических ошибок о вас в ответах | Не более 5% |
| Справочно | Частота упоминания бренда | Правильно ли в ответе указано название бренда | Достаточно восходящего тренда |
Пример из практики: вы добавили в блок FAQ три сравнительные таблицы с цифрами, прогнали шесть недель, и доля цитирований выросла с 18% до 31% — чистый прирост 13 процентных пунктов. Но, просмотрев ответы, вы обнаружили, что в 4 запросах указана неверная цена вашего продукта. Основная метрика порог прошла, ограничитель 2 пробил красную линию — эксперимент признан неудачным: трафик вы получили, но распространили недостоверную информацию. В следующей версии сначала исправьте факты, потом расширяйте FAQ.
3. Дизайн контрольных групп: временные ряды плюс двойное вычитание конкурентов
У B2B-сайтов трафик небольшой, строгий A/B-тест по сегментам не проведёшь. В GEO обычно используют два вида контрольных групп. Первый — контроль по временному ряду: сначала замеряете базовый уровень за 2 недели, затем вносите изменения и наблюдаете ещё 6 недель, сравнивая разницу до и после. Второй — контроль по конкурентам: выбираете двух-трёх конкурентов из вашей ниши, не затронутых вашими изменениями, и в тот же период прогоняете тот же набор вопросов, проверяя, изменилась ли синхронно их доля цитирований.
Надёжнее всего использовать оба контроля вместе. Чистый прирост равен вашему изменению минус изменение базового уровня, минус синхронное изменение у конкурентов. Если вы выросли на 13 процентных пунктов, а конкуренты за тот же период — на 8, реальный чистый прирост составит всего 5 процентных пунктов, чего недостаточно для порога в 10. Как сравнивать контент с конкурентами, см.Анализ 30 запросов на разрыв с конкурентами.
| Способ контроля | Как сделать | Что позволяет вычесть | Ограничения |
|---|---|---|---|
| Временной ряд | Сначала 2 недели базового уровня, затем 6 недель наблюдений | Собственные недельные колебания | Не вычитает отраслевой фон |
| Конкуренты за тот же период | 2–3 конкурента на том же наборе вопросов | Версия модели и отраслевой интерес | Конкурентов сложно измерить, если их нет в ваших запросах |
| Контроль по нейтральным запросам | 5–8 нерелевантных запросов | Чистый шум модели | Не отражает отраслевые тренды |
| комбинируют их | Время + конкуренты + нейтральные запросы | Вычитаются все три уровня шума | Стоимость выборки чуть выше |
4. Объём выборки и длительность эксперимента
Чем больше выборка, тем лучше — не всегда. Объём выборки в GEO ограничен количеством вопросов: 30–50 запросов — оптимальный вариант для команды из одного человека, каждый запрос прогоняется 3 раза с выбором модального ответа, итого 90–150 наблюдений за раунд. Если насильно расширить набор до 200 запросов, новые запросы, как правило, не связаны с переменной вашего эксперимента и лишь размывают сигнал.
Увеличивать стоит длительность. У модели есть недельные колебания, эксперимент на 6–8 недель охватывает один-два полных цикла колебаний. Эксперимент короче 4 недель даёт выводы лишь справочного характера. Логику выборки для A/B-тестирования форм можно взять для сравнения, см.A/B-тестирование форм: переменные и объём выборки, но в GEO ограничения по выборке жёстче.
| Длительность эксперимента | Недель наблюдения | Надёжность | Когда подходит |
|---|---|---|---|
| <4 недель | 1–2 недели | Только для справки | Предварительная разведка |
| 6 недель | 4 недели наблюдений | Первичная достоверность | Стандартный GEO-эксперимент |
| 8 недель | 6 недель наблюдений | Достаточно надёжно | Решения по важным изменениям |
| >10 недель | — | Возможно, уже устарело | Избегать, модель изменилась |
5. Оценка значимости и типичные ошибки
При малой выборке не полагайтесь на p-значение. В GEO практичнее считать результат доказанным, если выполнены три условия одновременно: чистый прирост не менее 10 процентных пунктов, две недели подряд без просадки и воспроизводимость при повторном эксперименте. Одно воспроизведение — это подтверждение, два — уже вывод.
Три частые ошибки, которых стоит избегать: первая — объявить успех после одного прогона, игнорируя случайность выборки; вторая — не вычесть колебания контрольной группы и записать общий рост рынка в свои заслуги; третья — остановиться, как только вырос основной показатель, и забыть проверить защитные метрики. Как долго использовать один и тот же набор вопросов, читайте в Ежемесячный мониторинг фиксированного набора вопросов.
| Ситуация | Сигнал | Вывод |
|---|---|---|
| Чистый прирост ≥10 п.п. и воспроизведение | Основной показатель выше порога, защитные стабильны | Действие работает, закрепляем |
| Чистый прирост ≥10 п.п., но защитные упали | Цитируют, но искажают факты | Отрицательный результат, сначала дополнить факты |
| Выросли, но конкуренты тоже выросли | Синхронный рыночный дрейф | После вычета ниже порога, неэффективно |
| Выросли после одного прогона | Случайность единичной выборки | Под вопросом, нужно воспроизведение |
| Чистый прирост <5 п.п. | В пределах шума | Ничего не меняем, наблюдаем дальше |
FAQ: частые вопросы
Почему в GEO-экспериментах нельзя использовать p-значение обычного A/B-теста?
Чем больше выборка, тем лучше? Может, подготовить побольше запросов для надёжности?
Как выбрать основной и защитные показатели?
Без большого трафика не сделать разбиение на группы для A/B-теста. Как тогда сравнивать в GEO?
Какой чистый прирост считается действительно значимым?
Что делать, если посреди эксперимента обновилась модель?
В заключение
Статистическое мышление в GEO-экспериментах лишь на первый взгляд похоже на A/B-тесты команд интернет-роста, а по сути устроено совсем иначе. Интернет-тесты полагаются на случайный контроль на большой выборке, GEO — на долгое воспроизведение на малой выборке. Если выборка маленькая, не стоит насильно считать p-value: лучше растянуть эксперимент, сделать контроль полным и жёстко зафиксировать пороги — тогда выводы окажутся надёжнее.
Три шага к внедрению: каждый квартал задавайте только одну главную метрику (рекомендуем — долю цитирований) и два защитных показателя; вычитайте чистый прирост по временным рядам с двойным контролем по конкурентам; закрепляйте только при чистом приросте ≥10 п.п. и двух воспроизведениях. Сопутствующая методика — в Планирование GEO-экспериментов и Практика GEO.
Фраза, которую стоит запомнить: в GEO «выросло» не считается — считается «выросло даже после вычета рынка и воспроизведётся в следующий раз». Малая выборка держится на дисциплине, а не на удаче.