Дизайн A/B-теста для запросов: выбор переменных, расчёт размера выборки и статистическая значимость
I. Выбор переменных: сначала тестируйте то, что влияет сильнее, не начинайте с цвета
Многие команды начинают A/B-тесты с вопроса «кнопку сделать красной или синей». Это неправильный порядок. Цвет кнопки влияет на конверсию обычно в пределах 5%, а изменение одной фразы в заголовке первого экрана — на 30% и больше. Если трафика мало, B2B-сайту нужно расходовать его на переменные с наибольшим влиянием.
Критерий приоритета переменных прост: если переменная изменится, задумается ли покупатель, продолжать ли смотреть дальше. Если да — высокий приоритет; если просто выглядит иначе, но не влияет на решение — низкий. Заголовок первого экрана, текст основной CTA-кнопки и количество полей формы — эти три напрямую влияют на решение о конверсии и стоят первыми.
| Приоритет | Тип переменной | Ожидаемое влияние на конверсию | Когда тестировать |
|---|---|---|---|
| Высокий | Заголовок и подзаголовок первого экрана | 20%-40% | Первый приоритет |
| Высокий | Текст и расположение основной CTA-кнопки | 15%-30% | Тестировать после заголовка |
| Высокий | Количество полей формы (5 против 8) | 15%-25% | Ключевая переменная лендинга |
| Средний | Расположение и количество элементов доверия | 5%-15% | Тестировать после крупных переменных |
| Средний | Расположение блока с кейсами | 5%-10% | Тестировать при наличии остатка трафика |
| Низкая | Цвет кнопки, шрифт, отступы | 0%-5% | Браться только при достаточном трафике |
Тестам, связанным с формами, посвящена отдельная статья, см.A/B-тест формы, а та статья — про поля формы и их расположение. Здесь речь о более широком дизайне тестов лендинга. Перед тестом сначала анализ тепловых карт запросов, чтобы определить, где именно происходит отток, и только потом решайте, что тестировать — не начинайте тест с придуманной наугад гипотезы.
II. Расчёт размера выборки: сколько визитов нужно набрать
Это самый пропускаемый и самый опасный этап A/B-тестирования. Многие запускают тест сегодня, через три дня видят, что у группы B показатели выше на пару процентов, и объявляют победу B. В 90% случаев этот вывод ошибочен: выборка слишком мала, и случайные колебания создают ложную «значимую разницу».
Размер выборки зависит от трёх чисел: базовой конверсии (вашей текущей конверсии), минимального прироста, который вы хотите обнаружить (например, 20% относительного прироста), и уровня статистической значимости (обычно 95%, то есть p меньше 0,05). Конверсия в заявку на B2B-сайте обычно составляет от 1% до 5%; в таблице ниже — шпаргалка по этому диапазону.
| Базовая конверсия | Хотите обнаружить относительный прирост | Нужно визитов на группу | Примерно сколько ждать (при 10 000 визитов в месяц) |
|---|---|---|---|
| 1% | 20% (до 1,2%) | около 25 000 визитов на группу | более 50 дней |
| 2% | 20% (до 2,4%) | около 12 000 визитов на группу | более 25 дней |
| 5% | 20% (до 6%) | около 4500 визитов на группу | более 9 дней |
| 10% | 20% (до 12%) | около 2000 визитов на группу | более 4 дней |
| 2% | 50% (до 3%) | около 3500 визитов на группу | более 7 дней |
Обратите внимание на последнюю строку: если прирост, который вы хотите обнаружить, большой (например, с 2% до 3%), выборка нужна гораздо меньше. И наоборот: если вы хотите уловить разницу в пределах 5%, вроде «красная кнопка против синей», выборка потребуется нереально большая. Поэтому сайтам с малым трафиком не стоит тестировать мелкие изменения — за полгода вы всё равно не получите статистически значимого результата.
Ещё одно практическое правило: на каждую группу должно приходиться минимум 100 конверсий. Если в группу A пришло 5000 визитов, при конверсии 2% это всего 100 конверсий, и в группе B столько же. Когда между группами разница в несколько конверсий, p-значению доверять нельзя. Именно поэтому сайтам с низким трафиком больше подходят качественные методы (интервью с пользователями, тепловые карты), а не строгий A/B-тест. Общую методологию планирования экспериментов см. в разделе Планирование GEO-экспериментов— там про гипотезы и атрибуцию.
Три. Статистическая значимость: как понять, что результат действительно победил
После набора запланированного объёма выборки рассчитайте p-значение с помощью критерия хи-квадрат или Z-критерия. Порог — p меньше 0,05, то есть уровень доверия 95%: только тогда различие считается значимым. Если p находится в диапазоне от 0,05 до 0,1, это лишь «тенденция», делать выводы нельзя; если p больше 0,1, различие между группами, скорее всего, случайно.
Ещё одна распространённая ловушка — «подглядывание»: тест идёт наполовину, вы не выдерживаете и смотрите на данные, видите, что B впереди, и останавливаете тест досрочно. Каждое подглядывание повышает вероятность ложноположительного результата: если подглядывать пять раз подряд, она может вырасти с 5% до более чем 20%. Правильный подход — до старта теста зафиксировать размер выборки и длительность, не смотреть в середине и прочитать результат один раз, когда срок вышел.
| Диапазон p-значения | Статистический смысл | Решение |
|---|---|---|
| p < 0.01 | Очень высокая значимость | Можно смело запускать новую версию |
| 0.01 ≤ p < 0.05 | Значимо | Можно запускать, продолжить наблюдение |
| 0.05 ≤ p < 0.1 | Есть тенденция, но не значимо | Выводы делать нельзя: продлить тест или отказаться |
| p ≥ 0.1 | Разницы нет | Группы практически одинаковы, оставьте исходную версию |
Пример из практики: один промышленный сайт заменил заголовок первого экрана с «Производитель профессиональных датчиков» на «Датчики давления с точностью ±0,1% для производителей OEM-оборудования» и заранее рассчитал, что каждой группе нужно 12 000 визитов. На десятый день данные показали, что конверсия группы B выросла с 2% до 2,8%, p-значение 0,03.
Тут не стоит спешить с выводами. Сначала проверьте: набрала ли каждая группа свои 12 000 визитов? Если ещё нет — продолжайте до нужного объёма. Если да и p-значение по-прежнему меньше 0,05 — тогда запускайте новую версию.
Четыре. Дисциплина тестирования: меняем только одну переменную за раз
Вот контринтуитивный вывод этой статьи:Если тестировать три переменные сразу, кажется, что это втрое эффективнее, а на деле вы не измеряете ничего. Допустим, вы одновременно изменили заголовок, цвет кнопки и длину формы, и конверсия группы B выросла на 30%. Вы не знаете, что именно сработало — может, заголовок, может, короткая форма, а может, просто случайное колебание трафика. В следующий раз, когда захотите что-то улучшить, вам не на что опереться.
Ещё одно преимущество тестирования по одной переменной — выводы накапливаются: в этом месяце проверили заголовок — победил; в следующем проверили кнопку — победила; через полгода у вас есть проверенная оптимальная версия. Если тестировать несколько переменных сразу, через полгода вы всё ещё будете топтаться на месте.
| Требования к дисциплине | Неправильный подход | Правильный подход |
|---|---|---|
| Одна переменная | Меняем заголовок, кнопку и форму одновременно | Меняем только одно, остальное не трогаем |
| Заранее определяем объём выборки | Останавливаемся, когда данные вроде бы сошлись | Считаем до старта и останавливаемся в срок |
| Не подглядываем по ходу | Смотрим данные раз в день | Читаем результат один раз после окончания теста |
| Равномерно распределяем трафик | Запускаем только половину рабочего времени | Охватываем минимум одну полную неделю |
| Исключаем аномальный трафик | Учитываем внутренний тестовый трафик | Фильтруем внутренние IP и трафик ботов |
Период теста должен охватывать минимум одну полную неделю. Поведение B2B-покупателей сильно различается в будни и выходные: в середине недели менеджеры по закупкам изучают предложения, а в выходные заходят случайные посетители. Если запустить тест только с понедельника по пятницу, вы упустите особенности трафика выходных; если только на выходные — выборка не будет отражать будни. Минимальный срок теста — 7 дней, лучше 14, чтобы сгладить колебания по дням недели.
Пять. Что делать сайтам с малым трафиком
У многих B2B-сайтов всего три-пять тысяч визитов в месяц. При таких требованиях к выборке один тест придётся вести три месяца — это совершенно нереально. В таком случае упорно делать A/B-тесты — пустая трата времени, нужны другие методы.
| Визитов в месяц | Рекомендуемый метод | Не рекомендуемый метод |
|---|---|---|
| Меньше 5000 | Интервью с 5–8 пользователями, тепловые карты, анализ записей экрана | Строгие A/B-тесты (значимость не набрать) |
| 5000–20 000 | Тест одной переменной на крупное улучшение (30%+) | Тест мелких различий (до 10%) |
| 20 000–100 000 | Можно регулярно запускать A/B-тесты, 1–2 в месяц | Запускать больше трёх тестов одновременно |
| Больше 100 000 | Многофакторные тесты, тесты с разделением трафика | — |
При небольшом трафике вместо количественных тестов используйте качественные методы: найдите 5–8 реальных покупателей и проведите с ними 20-минутные интервью, спросите: «Что вы ищете на этой странице и почему не заполнили форму?» Затем посмотрите записи экрана нескольких десятков реальных посетителей. При малом трафике эти методы дают более надёжные ответы, чем A/B-тесты.
Базовые показатели производительности — в разделе Core Web Vitals. Сначала решите жёсткие проблемы вроде скорости загрузки, а потом уже занимайтесь тонкой настройкой тестов.
FAQ: частые вопросы
Сколько переменных тестировать в одном A/B-тесте?
Сколько времени и трафика нужно?
Как понять, что A/B-тест действительно выиграл?
Действительно ли смена цвета кнопки на красный повышает конверсию?
Стоит ли делать A/B-тесты, если месячный трафик всего несколько тысяч?
Какой трафик нужно отфильтровывать в A/B-тесте?
В заключение
A/B-тест звучит как научный метод, но на деле всё решает дисциплина исполнения. Большинство команд не получает надёжных выводов из тестов не потому, что не разбирается в статистике, а потому что слишком торопится — скорее увидеть результат, скорее объявить победу, скорее протестировать несколько переменных сразу. Соблюдайте дисциплину: один тест — одна переменная, достаточный размер выборки, читаем результат только по завершении. За полгода вы накопите набор приёмов оптимизации, которые можно переиспользовать.
Три шага к внедрению: сначала расставьте переменные по приоритету «влияния» и начните с заголовка первого экрана; перед запуском посчитайте в калькуляторе размера выборки, сколько посещений нужно каждой группе и сколько дней продлится тест; во время теста не подглядывайте, по завершении посчитайте p-значение — значимо, значит выкатываем, незначимо, значит оставляем исходную версию. Если трафик меньше 5000 в месяц, не беритесь за A/B-тест — замените его интервью с пользователями и тепловыми картами.
Фраза, которую стоит запомнить: самая дорогая статья расходов в A/B-тесте — не стоимость инструмента, а полгода работы без единого результата. Один тест — одна переменная и достаточная выборка перед выводами: эти два правила важнее любого инструмента.