A/B-тест на сайте - это одновременный показ двух версий страницы разным половинам живого трафика, чтобы понять, какая версия даёт больше заявок. Чтобы результату можно было верить, нужно набрать примерно 300-400 конверсий на каждый вариант и держать тест не меньше 2 полных недель: на меньших числах разница в 10-20% почти всегда оказывается случайным колебанием, а не реальным эффектом.
Дальше - как считать выборку, сколько ждать, в каком порядке действовать и по каким признакам понять, что вас обманул не подрядчик, а собственная статистика.
I. Что такое A/B-тест и что он даёт
Механика: посетители случайным образом делятся пополам. Половина видит вариант A (текущая страница, контроль), половина - вариант B (изменённая версия). Обе группы приходят из одних источников, в одно время, с одинаковым распределением по устройствам. Единственное отличие между ними - то, что вы тестируете. Поэтому разницу в конверсии можно приписать именно изменению, а не сезону, погоде или запуску новой рекламной кампании.
Это принципиально отличается от сравнения «до и после». Если вы поменяли страницу 1 сентября и сравниваете сентябрь с августом, вы сравниваете не две версии сайта, а два разных месяца с разной рекламой, разным спросом и разной долей брендового трафика. Такое сравнение регулярно даёт «рост на 25%», который через месяц бесследно исчезает.
Что реально стоит тестировать на сайте услуг: заголовок первого экрана, форму (количество полей, текст кнопки), цену и способ её подачи, блок доверия (отзывы, кейсы, документы), расположение формы, наличие калькулятора. Что тестировать почти бессмысленно: оттенок кнопки, скругление углов, шрифт подписи под формой. Эффект от таких правок обычно меньше 1-2% и утонет в шуме на любой реальной выборке.
II. Сколько нужно трафика и конверсий
Главный вопрос перед стартом - хватит ли вам трафика вообще. Чем меньше ожидаемый эффект, тем больше нужно людей. Ориентировочные объёмы на КАЖДЫЙ вариант при базовой конверсии 3% и уровне доверия 95%:
| Какой прирост хотим уловить | Посетителей на вариант | Конверсий на вариант | Трафик в месяц для теста за 2-4 недели |
|---|---|---|---|
| +50% (с 3% до 4,5%) | около 1 500 | 45-70 | от 3 000 визитов |
| +25% (с 3% до 3,75%) | около 5 500 | 165-210 | от 11 000 визитов |
| +10% (с 3% до 3,3%) | около 32 000 | около 1 000 | от 64 000 визитов |
| +5% (с 3% до 3,15%) | более 120 000 | около 3 800 | практически недостижимо |
Цифры в таблице - порядок величины, а не точный прайс: реальный расчёт зависит от вашей базовой конверсии и требуемой мощности теста. Но вывод из неё жёсткий: если на посадочную страницу приходит 800 визитов в месяц, честно уловить прирост меньше 50% вы не сможете никогда. Не тестируйте кнопки - тестируйте оффер целиком.
Практическое правило для бизнеса услуг: тест имеет смысл, если вы ожидаете набрать не менее 300-400 конверсий на вариант либо тестируете крупное изменение (другой оффер, другая цена, другая структура страницы), от которого разумно ждать прироста в десятки процентов.
III. Сколько держать тест: 2-4 недели
Минимальный срок - 2 полные недели, даже если нужная выборка набралась за 4 дня. Причина в недельной цикличности: в B2B-услугах заявки концентрируются в будни, в ремонте и медицине - в выходные и вечера. Тест, остановленный в среду после старта в понедельник, показывает поведение только одного среза аудитории.
| Срок теста | Что успевает набраться | Риск |
|---|---|---|
| 3-5 дней | Иногда нужный объём визитов | Высокий: нет полного недельного цикла, результат неповторяем |
| 2 недели | Два полных цикла будни/выходные | Приемлемый - рабочий минимум |
| 3-4 недели | Разные фазы месяца, включая зарплатные дни | Низкий - оптимум для услуг |
| Больше 6-8 недель | Много данных | Растёт: часть посетителей чистит cookie и попадает в оба варианта, меняются рекламные кампании |
Верхняя граница тоже важна. Через 6-8 недель тест начинает загрязняться: люди меняют устройства и чистят cookie, попадая то в один вариант, то в другой; параллельно вы правите рекламу, и состав трафика уезжает. Если за 4 недели разница не проявилась - скорее всего, изменение слишком мелкое, и правильный вывод: гипотеза не подтвердилась, идём к следующей.
IV. 7 шагов проведения теста
- Найдите узкое место. Посмотрите в аналитике, где именно теряются люди: не доходят до формы, открывают её и не отправляют, отваливаются на шаге с ценой. Тестировать надо самый дырявый этап, а не тот, который проще переделать.
- Сформулируйте гипотезу с числом. Не «сделаем красивее», а «если сократить форму с 5 полей до 2, доля отправленных форм вырастет с 3% до 4,5%, потому что 3 лишних поля - это 3 повода закрыть вкладку».
- Посчитайте выборку и срок ДО запуска. Зафиксируйте письменно: тест идёт до N конверсий на вариант, но не меньше 14 дней. Это ваша страховка от соблазна остановить тест в удачный момент.
- Меняйте один смысловой блок. Если вы одновременно поменяли заголовок, форму и цену, а конверсия выросла на 20%, вы не узнаете, что именно сработало и не сработало ли что-то в минус.
- Настройте одинаковый учёт цели в обоих вариантах. Самая обидная поломка теста - когда на варианте B цель срабатывает дважды или не срабатывает вовсе. Перед запуском отправьте по 2-3 тестовые заявки на каждый вариант и убедитесь, что они долетели в аналитику и в CRM.
- Не смотрите на результат каждый день. Точнее, смотрите на техническую исправность, но не принимайте решений: в первые дни разница скачет на десятки процентов и почти всегда обманывает.
- Подведите итог по деньгам, а не по проценту формы. Считайте не отправленные формы, а дошедшие до менеджера обращения и сделки: вариант может дать +30% заявок, из которых половина - мусор.
Полезная привычка: до старта записать в одну строку, какой результат вы считаете успехом, а какой - провалом. Например: «принимаем вариант B, если он даёт минимум +15% валидных заявок при значимости 95%». Заранее заданный критерий защищает от подгонки выводов под уже увиденные цифры.
V. Пять ошибок, из-за которых результат ложный
- Остановка в удачный момент (peeking). Если проверять результат ежедневно и останавливать тест, как только показалась «значимость», доля ложных побед вырастает в разы: рано или поздно случайный всплеск даст красивую цифру. Срок и объём фиксируются заранее.
- Оценка по кликам, а не по заявкам. Вариант B может собирать больше кликов по кнопке и меньше отправленных форм. Целевое действие - обращение, доехавшее в CRM, а не промежуточный клик.
- Одновременные правки на сайте. Пока идёт тест, любые изменения общего кода, скорости загрузки или рекламных кампаний размывают эффект. Тест - это заморозка всего остального.
- Тест на слишком мелком изменении. Оттенок кнопки, скругление, размер иконки: эффект в доли процента невозможно уловить на трафике обычной компании услуг.
- Игнорирование качества трафика. Рост числа заявок при падении их качества - это убыток, а не победа. Как отличить одно от другого, подробно разобрано в материале про оценку качества лидов, и такую проверку стоит делать по итогам каждого теста.
Отдельная история - критерий «валидности» заявки. Если в тесте A даёт 40 заявок, из которых до менеджера доходят 30, а B даёт 52 заявки, из которых доходят 28, то формально выиграл B, а по деньгам проиграл. Поэтому в качестве метрики теста лучше сразу брать валидную заявку, а не любое нажатие кнопки «Отправить».
VI. Что делать при малом трафике
Большинству компаний услуг классический A/B-тест недоступен: при 500-2000 визитов в месяц на посадочную страницу корректный тест мелкой правки занял бы полгода. Это не повод ничего не делать - просто инструменты другие.
| Трафик на страницу в месяц | Что реально работает | Чего избегать |
|---|---|---|
| до 1 000 визитов | Качественные методы: 5-8 интервью с клиентами, прослушивание звонков, запись сессий | Любые A/B-тесты - шум |
| 1 000-5 000 визитов | Тест крупных изменений оффера с ожиданием прироста от 30-50% | Тесты кнопок, цветов, микротекстов |
| 5 000-20 000 визитов | Полноценные A/B-тесты структуры и формы за 2-4 недели | Одновременный запуск 3-4 вариантов |
| от 20 000 визитов | Регулярная программа тестов, 1-2 гипотезы в месяц | Тесты без заранее зафиксированного критерия |
Второй рабочий вариант при малом трафике - тестировать не страницу, а канал. Если сайт даёт 15 обращений в месяц, разница между двумя заголовками не решит задачу; решит подключение канала, который приносит обращения предсказуемо. По этой логике и устроена модель лидов с оплатой за результат: вы платите за факт обращения, а не за гипотезу на странице, и объём данных для выводов набирается быстрее.
Третье, о чём забывают при работе над конверсией: часть посетителей перед отправкой формы проверяет компанию в поиске и на картах. Если там висят 3-5 свежих негативных отзывов, никакой вариант заголовка это не перебьёт - человек уходит к конкуренту уже после ухода с сайта, и в A/B-тесте вы увидите просто низкую конверсию обоих вариантов. В такой ситуации разбираться нужно не с кнопкой, а с фоном: удаление отзывов занимает обычно 3-14 дней и стоит от 3000 ₽ за отзыв с оплатой по факту снятия, и часто даёт больший прирост, чем месяц тестов на странице.
Если задача - не выжимать доли процента, а увеличить абсолютное число обращений, разумнее параллельно расширять вход: генерация целевых клиентов даёт больше трафика, а больший трафик, в свою очередь, впервые делает A/B-тесты статистически осмысленными.
VII. Короткий итог
A/B-тест - это не «поменяли и посмотрели», а процедура с заранее посчитанной выборкой, зафиксированным сроком от 2 недель и одним изменяемым блоком. Ориентир: 300-400 конверсий на вариант, 2-4 недели, никаких правок на сайте во время теста и оценка по валидным заявкам, а не по кликам. Если трафика меньше 1 000 визитов в месяц, вместо тестов работают интервью с клиентами, прослушка звонков и крупные изменения оффера. И прежде чем тратить недели на проверку заголовка, стоит убедиться, что проблема действительно на странице, а не в цене, репутации в поиске или качестве самого трафика.
Наши работы
Сайты, которые студия уже запустила
Четыре проекта N3MIROFF, которые можно открыть прямо сейчас и посмотреть, как они работают.
Агротех с ИИ
SkyFarm ↗
Редизайн сайта систем выращивания: первый экран с контейнерной фермой, схема работы из трёх шагов, карусель продуктов и экран приложения.
Сайт салона
ayvazzovsky.com ↗
Салон сложного окрашивания в Москве: онлайн-запись, видео работ, портфолио и команда. Переехал с Тильды на свой хостинг.
Онлайн-академия
ayvazzovsky.academy ↗
Видеоуроки колористики: каталог, посадочные страницы уроков, личный кабинет и промокоды.
Event-агентство
navsegda-event.ru ↗
НАВСЕГДА: корпоративы и конференции - услуги, кейсы, этапы работы и расчёт мероприятия.
Витрина магазина
Monkey Market ↗
Премиальная витрина магазина кроссовок с заказом в Telegram.
Тесты нужны там, где есть что тестировать
Если сайт даёт 10-20 обращений в месяц, дело не в кнопке. Подключим канал с измеримым потоком заявок и оплатой за результат.
Частые вопросы
Сколько нужно посетителей для A/B-теста на сайте?
Ориентир - 300-400 конверсий на каждый вариант. При базовой конверсии 3% и желании уловить прирост в 25% это около 5 500 посетителей на вариант, то есть примерно 11 000 визитов на тест. Для прироста в 50% хватит около 1 500 посетителей на вариант.
Сколько дней должен идти A/B-тест?
Минимум 14 дней, оптимально 3-4 недели, даже если нужный объём набрался быстрее: нужно захватить хотя бы два полных недельных цикла. Дольше 6-8 недель держать не стоит - данные загрязняются из-за очистки cookie и смены рекламных кампаний.
Можно ли остановить тест раньше, если один вариант уже выигрывает?
Нет. Ежедневные проверки с остановкой в удачный момент резко повышают долю ложных побед: в первые дни разница скачет случайно. Срок и целевой объём конверсий фиксируются до запуска и не пересматриваются по ходу.
Что тестировать в первую очередь на сайте услуг?
Самый дырявый этап воронки по данным аналитики. Обычно это заголовок первого экрана, количество полей в форме, подача цены и блок доверия. Цвет кнопки и мелкий дизайн тестировать бесполезно - эффект меньше 1-2% утонет в статистическом шуме.
Что делать, если трафика на сайт слишком мало для теста?
При объёме до 1 000 визитов в месяц вместо тестов работают качественные методы: 5-8 интервью с клиентами, прослушивание звонков и записи сессий. Параллельно имеет смысл наращивать сам поток обращений - тогда через несколько месяцев тесты станут статистически осмысленными.
Разберём вашу воронку и скажем, где реально теряются деньги
Оставьте заявку - посмотрим страницу, источники трафика и репутацию в поиске, и предложим, с чего начать.
Получить целевые заявки → Telegram