A/B тест: 6 правил и сколько трафика нужно на проверку

A/B тест - это сравнение двух вариантов страницы или объявления на случайно разделённом трафике: половина видит вариант A, половина - вариант B. Чтобы уверенно поймать разницу в конверсии с 2% до 2,5%, обычно нужно около 10-15 тысяч визитов на каждый вариант, а для разницы с 2% до 3% хватает примерно 3-4 тысяч. Меньше трафика - и вы измеряете шум, а не эффект.

I. Что такое A/B тест

Суть метода в том, что оба варианта работают одновременно на одной и той же аудитории. Это отличает A/B тест от сравнения «до и после»: если вы поменяли страницу в марте и сравниваете с февралём, на результат влияют сезон, конкуренты, состав трафика и десяток других факторов. Одновременный показ убирает эти помехи.

Тестировать можно посадочные страницы, заголовки, формы, объявления, письма, скрипты продаж. Требование одно: должна быть чётко зафиксированная целевая метрика - обычно конверсия в обращение, реже выручка на визит. Метрика выбирается до старта, а не подбирается по итогам.

II. 6 правил проведения

1. Одна гипотеза за раз. Если поменяли заголовок, форму и кнопку одновременно, вы узнаете только суммарный эффект и не поймёте, что сработало.
2. Метрика и длительность фиксируются заранее. Решение «останавливаем при 500 обращениях» принимается до старта, иначе вы просто дождётесь удобной цифры.
3. Тест идёт целыми неделями. Поведение в понедельник и в субботу различается, и обрезанная неделя перекашивает результат.
4. Трафик делится случайно и постоянно. Один и тот же посетитель должен видеть один и тот же вариант при повторных заходах.
5. Никаких изменений во время теста. Правка цен, запуск акции или новая кампания в середине эксперимента обнуляют его.
6. Результат оценивается по целевому действию, а не по промежуточным сигналам. Рост кликов по кнопке при том же числе заявок - не победа.

III. Сколько трафика нужно

Цифры в таблице ориентировочные и приведены для понимания порядка величин при стандартном уровне доверия 95%. Главный вывод практический: малому и среднему бизнесу почти никогда не хватает трафика на проверку тонких улучшений. Поэтому тестировать имеет смысл только заметные изменения - другой оффер, другую структуру страницы, принципиально другую форму, а не оттенок кнопки.

IV. Разбор на условных числах

Пример на условных числах. Сайт получает 900 визитов в неделю. Вариант A дал 18 обращений с 450 визитов (4%), вариант B - 24 обращения с 450 визитов (5,3%). Кажется, что B выигрывает на 33%. Но разница в 6 обращений при таких объёмах вполне может быть случайной: достаточно, чтобы двое из группы B в тот день просто оказались более решительными.

Продлеваем тест до 4 недель. Вариант A: 76 обращений с 1 800 визитов (4,2%). Вариант B: 104 обращения с 1 800 визитов (5,8%). Теперь разрыв составляет 28 обращений на объёме, где случайное отклонение существенно меньше, - выводу можно доверять. При рекламном расходе 40 000 ₽ в неделю переход на вариант B даёт примерно 7 дополнительных обращений в неделю и снижает цену обращения ориентировочно на четверть.

Полезно заранее посчитать, ради чего вы вообще запускаете тест. В том же примере годовой эффект от варианта B - около 360 дополнительных обращений. Если из них договорами становятся 18%, это 65 сделок; при среднем чеке 30 000 ₽ и марже 25% - примерно 487 500 ₽ валовой прибыли за год. Такой расчёт сразу отвечает на вопрос, стоит ли держать тест 4 недели: если ожидаемый эффект меньше стоимости работ по внедрению, тест можно не начинать.

V. Что тестировать в первую очередь

• Оффер на первом экране. Самый сильный по влиянию элемент: наличие цены, срока и конкретной выгоды меняет конверсию заметнее всего.
• Структура формы. Сокращение полей с 5 до 2-3 обычно даёт прирост обращений на 10-30%.
• Способ связи. Добавление мессенджера рядом с формой часто добавляет 15-25% обращений.
• Тип посадочной. Длинный лендинг против короткой страницы с калькулятором - разница бывает кратной.
• Заголовки объявлений. Дешевле всего тестируются и быстрее всего набирают статистику.
• Блок доказательств. Фото реальных работ и отзывы с деталями против абстрактных обещаний качества: на дорогих услугах разница бывает 20-40%.
• Первый вопрос в квизе. Простой вопрос про объём вместо контактных данных обычно увеличивает долю дошедших до конца на 15-30%.

Порядок такой: сначала крупные гипотезы, где ожидаемый эффект измеряется десятками процентов, потом всё остальное. Косметические правки при малом трафике проверить нельзя в принципе, и это нормально - их просто делают по здравому смыслу без теста.

VI. Ошибки, которые убивают результат

1. Останавливать тест по первому благоприятному результату.
2. Запускать тест в неоднородный период: праздники, распродажа, всплеск сезонного спроса.
3. Сравнивать варианты на разном трафике - например, вариант A крутится в поиске, а B в сетях.
4. Считать победу по кликам и микродействиям, а не по обращениям и деньгам.
5. Тестировать при 10-20 обращениях в месяц: на таких числах любой результат недостоверен.
6. Не проверять качество обращений: вариант B может давать больше заявок, но существенно менее целевых.

Последний пункт особенно важен. Прирост числа обращений на 30% при падении доли целевых на 40% - это ухудшение, замаскированное под победу. Поэтому после теста обязательно сравните варианты не только по количеству, но и по оценке качества лидов: сколько из них дошло до разговора и до договора.

VII. Когда это нужно вам

A/B тесты уместны, если у вас есть стабильный поток от нескольких тысяч визитов в месяц и хотя бы 50-100 обращений. Ниже этого объёма честный тест провести не получится, и правки лучше делать по чек-листу очевидных улучшений: цена на первом экране, короткая форма, мессенджер, мобильная вёрстка без прокрутки.

Если трафика не хватает именно для тестов, есть два пути: увеличить объём или тестировать более крупные гипотезы. Нарастить поток можно параллельно основной рекламе - например, подключить лиды с оплатой за результат, чтобы не рисковать бюджетом на этапе, когда экономика сайта ещё не отлажена.

Короткий итог: A/B тест честен только при заранее зафиксированных метрике, объёме и сроке. Проверяйте крупные гипотезы, ведите тест целыми неделями, не подглядывайте в промежуточные результаты и оценивайте победителя по договорам, а не по кликам.

Мало трафика, чтобы что-то проверять?

Дадим объём целевых обращений, на котором гипотезы можно тестировать за недели, а не за кварталы.

Получить расчёт заявок →

Нажимая кнопку, вы соглашаетесь на обработку данных для ответа на заявку.

Частые вопросы