A/B тестирование простыми словами: как проверять гипотезы в маркетинге

A/B тестирование (сплит-тест) - это способ сравнить два варианта одной страницы, объявления или письма, чтобы понять, какой из них работает лучше. Половина посетителей видит вариант A, другая половина - вариант B, а дальше сравнивается результат: заявки, клики, покупки. Побеждает не тот вариант, который нравится дизайнеру или маркетологу, а тот, который приносит больше конверсий на реальных людях.

Метод пришел в маркетинг из статистики и медицины, где похожим образом сравнивают эффективность лекарств на контрольной и тестовой группах. В цифровом маркетинге принцип тот же: есть контрольная версия (A) и версия с изменением (B), и единственная переменная, которая отличает их друг от друга, - это то, что вы хотите проверить.

I. Что такое A/B тестирование

Технически A/B тест устроен так: трафик на сайт или лендинг делится системой (обычно поровну, 50/50) на две группы. Одна группа видит текущую версию страницы, вторая - версию с одним измененным элементом: другим заголовком, другим цветом кнопки, другим текстом оффера. Обе версии показываются одновременно, в одинаковых условиях - в один и тот же период, с одинаковыми источниками трафика.

Это принципиальное отличие от «сравнения по очереди»: если вы неделю показывали один вариант, а следующую неделю - другой, результат может отличаться просто из-за сезонности, дня недели, изменения рекламных ставок или новостного фона, а не из-за самого изменения. A/B тест исключает этот шум, потому что обе версии работают в одном временном окне.

II. Зачем это нужно: гипотезы вместо догадок

Большинство решений на сайте принимается «на глаз»: маркетологу кажется, что кнопка «Оставить заявку» лучше, чем «Получить расчет», дизайнеру кажется, что фото людей работает лучше, чем фото продукта. Проблема в том, что интуиция часто ошибается, а стоимость ошибки на посадочной странице - это упущенные лиды и слитый рекламный бюджет.

A/B тестирование переводит спор «мне кажется» в формат проверяемой гипотезы. Гипотеза формулируется так: «Если мы изменим X, то показатель Y изменится, потому что Z». Например: «Если заменить общий заголовок на заголовок с конкретной цифрой, конверсия в заявку вырастет, потому что цифра снижает недоверие к обещанию». Дальше эта гипотеза проверяется на реальных посетителях, а не обсуждается на планерке.

Это особенно критично в генерации целевых клиентов, где каждый процент конверсии лендинга напрямую умножается на стоимость привлечения трафика. Небольшое улучшение конверсии с 2% до 3% - это рост числа заявок на 50% при том же бюджете на рекламу.

Кроме того, A/B тесты защищают от когнитивных искажений команды: люди, которые месяцами смотрят на один и тот же сайт, перестают видеть его свежим взглядом и склонны переоценивать эффект «очевидных» улучшений. Тест возвращает в процесс объективные данные.

III. Простой пример с цифрами

Возьмем лендинг с формой заявки на монтаж окон. Изначальный заголовок (вариант A): «Пластиковые окна под ключ». Гипотеза: заголовок с конкретной выгодой и сроком повысит конверсию. Новый заголовок (вариант B): «Окна под ключ за 3 дня с гарантией 5 лет».

На выборке в 5000 показов на каждый вариант разница в 110 и 146 заявок статистически значима (при уровне доверия 95%), то есть с высокой вероятностью не случайна. Вывод: заголовок с конкретикой действительно работает лучше, и его можно внедрять как основной, а следующую гипотезу тестировать уже против нового победителя как контроля.

Если бы тест шел на 200 показов на вариант вместо 5000, такая же разница в проценте конверсии почти наверняка попала бы в зону статистической погрешности, и делать выводы было бы преждевременно - об этом подробнее в разделе про ошибки.

IV. Как правильно проводить тест

1. Сформулировать одну гипотезу и определить, какую именно метрику она должна улучшить (конверсию в заявку, клик по кнопке, звонок).
2. Изменить только один элемент между вариантами A и B - заголовок, кнопку, картинку или оффер, но не всё сразу.
3. Рассчитать нужный размер выборки заранее, исходя из текущей конверсии и минимального прироста, который вы хотите зафиксировать.
4. Запустить оба варианта одновременно на равный по составу трафик, без ручного перераспределения показов в процессе теста.
5. Дождаться набора расчетной выборки и статистической значимости результата (обычно 95% доверительного уровня), не останавливать тест раньше срока.
6. Зафиксировать победивший вариант, внедрить его как новый базовый (контроль) и перейти к проверке следующей гипотезы.

Размер выборки - не формальность. Чем меньше исходная конверсия и чем меньше ожидаемый прирост, тем больше показов нужно набрать, чтобы отличить реальный эффект от случайных колебаний. Для лендингов с низким трафиком это значит, что тест может идти несколько недель, и это нормально - тестировать быстрее, чем позволяет трафик, значит получать случайные, а не достоверные результаты.

V. Типичные ошибки

• Слишком маленькая выборка. Делать выводы по 50-100 показам на вариант - значит принимать решение по случайному шуму, а не по закономерности.
• Тестирование нескольких изменений сразу. Если одновременно поменять заголовок, кнопку и картинку, невозможно понять, какое именно изменение повлияло на результат - для этого нужен уже не A/B, а более сложный многофакторный тест.
• Преждевременная остановка теста. Если на третий день вариант B вырывается вперед и тест останавливают «раз уже видно победителя», велик риск зафиксировать случайный всплеск, который выровняется при большей выборке.
• Игнорирование сезонности и источников трафика. Результат теста, где вариант B случайно получил больше трафика с более теплого источника (например, из рассылки по своей базе), будет искажен.
• Тестирование без четкой гипотезы. Изменение «на удачу», без объяснения, почему оно должно сработать, даже при положительном результате не дает понимания, что масштабировать дальше.
• Отсутствие повторной проверки. Один успешный тест - это сигнал, но для важных решений (например, смена ключевого оффера) полезно повторить тест на новой выборке, чтобы исключить случайность.

VI. Что тестировать в лидогенерации

В контексте лендингов и генерации заявок для бизнеса основные элементы, которые дают заметный эффект при тестировании:

• Заголовок (H1). Конкретные цифры, сроки и выгоды почти всегда обгоняют общие формулировки вроде «Качественно и недорого».
• Форма заявки. Количество полей, порядок вопросов, текст кнопки отправки - сокращение формы с 6 полей до 3 часто повышает конверсию за счет снижения барьера.
• Оффер (предложение). Скидка в процентах против скидки в рублях, бесплатный замер против бесплатной консультации - разные формулировки одного и того же предложения работают по-разному на разную аудиторию.
• Призыв к действию (CTA). Текст на кнопке - «Оставить заявку», «Получить расчет», «Узнать цену» - и ее цвет, размер, расположение на странице.
• Социальные доказательства. Наличие отзывов, количества выполненных проектов, логотипов клиентов рядом с формой заявки.
• Изображение в хедере. Фото реального объекта или сотрудников против стокового изображения, статичная картинка против видео.

Тестировать стоит в первую очередь те элементы, которые находятся в зоне первого экрана и напрямую влияют на решение оставить заявку - именно там сосредоточено внимание пользователя в первые секунды. Итоговое качество заявок, которые в результате тестов приходят с обновленного лендинга, стоит отдельно отслеживать - подробнее о том, как это делать, в статье про оценку качества лидов.

Для бизнеса, который работает с оплатой за результат, а не за клики, A/B тестирование становится инструментом снижения себестоимости заявки на стороне подрядчика - чем выше конверсия лендинга, тем ниже цена за лид при том же трафике, что напрямую отражается в модели лидов с оплатой за результат.

Остались вопросы по вашей задаче?

Настроим A/B тесты и приведем целевой трафик, чтобы каждое изменение на сайте подтверждалось цифрами, а не мнением

Получить расчёт заявок →

Нажимая кнопку, вы соглашаетесь на обработку данных для ответа на заявку.

Частые вопросы