A/B-тест - это способ проверить изменение на сайте не спором, а цифрами: часть посетителей видит старый вариант, часть новый, и вы сравниваете заявки. Разбираем, что проверять в первую очередь, сколько данных нужно для честного вывода, какие ошибки обнуляют результат и в каких случаях тестировать ещё рано.
Что такое A/B-тест и зачем он нужен
A/B-тест (его же называют сплит-тестом) - это одновременное сравнение двух версий страницы на живом трафике: половине посетителей показывается вариант A, половине вариант B, и побеждает тот, после которого пришло больше заявок. Смысл в том, что обе версии работают в одни и те же дни, на одной и той же аудитории, поэтому разницу нельзя списать на сезон, рекламу или день недели.
Так закрывается главный спор любой переделки сайта: «мне кажется, так лучше». Кажется всем по-разному, а заявки считаются одинаково.
При этом тест ничего не улучшает сам по себе - он только отвечает «да» или «нет» на вашу гипотезу. Сильный тест начинается не с инструмента, а с ответа на вопрос: где именно люди уходят, не оставив заявку.
Что тестировать в первую очередь
Порядок важнее самих тестов. Начинать надо с того, что видят все посетители и что ближе всего к моменту обращения. Чем дальше элемент от кнопки «Отправить», тем слабее его влияние на заявки.
| Что проверяем | Почему это первое | Пример гипотезы |
|---|---|---|
| Форма заявки | Это последний шаг перед обращением, здесь теряется больше всего людей | Убрать два поля из пяти - заявок станет больше |
| Первый экран | Его видят сто процентов посетителей, остальное - уже не все | Заголовок с конкретной услугой вместо общего слогана |
| Главная кнопка | Текст и расположение меняются за минуту, эффект виден сразу | «Узнать цену» вместо «Отправить заявку» |
| Цены на странице | Отсутствие вилки - частая причина уходов без обращения | Показать диапазон «от-до» вместо «цена по запросу» |
| Способ связи | Часть людей не пишет в форму, но пишет в мессенджер | Добавить кнопку мессенджера рядом с формой |
| Доказательства | Работают на недоверие, но влияют слабее первых четырёх | Блок с реальными работами выше по странице |
Форма почти всегда даёт самый заметный результат: человек готов обратиться, но не готов заполнять анкету. Что из полей реально нужно менеджеру, разобрано отдельно: сколько полей должно быть в форме заявки.
Второй по силе элемент - первый экран. Проверяйте не картинку, а текст: понятно ли из заголовка, что вы делаете, для кого и в каком городе. Фоны переставляют охотнее всего, а на заявки они влияют меньше всего.
Как сформулировать гипотезу, чтобы тест имел смысл
Плохая гипотеза звучит как «переделаем блок услуг». Хорошая называет причину, изменение и ожидаемый эффект в одной фразе.
- Назовите проблему по цифре: «на странице услуги 70 процентов уходят, не доскроллив до формы».
- Назовите причину: «цены нет, человек не понимает порядок суммы и уходит смотреть у конкурентов».
- Назовите изменение: «добавляем вилку цен в первый экран».
- Назовите метрику: «смотрим долю визитов с отправленной формой, а не время на странице».
- Назовите, на чём остановитесь: «если разница меньше четверти, считаем, что гипотеза не подтвердилась».
Пятый пункт пропускают чаще остальных, и именно он спасает от самообмана: если заранее не договориться, какая разница считается значимой, вы всегда найдёте в цифрах то, что хотели увидеть.
Одно изменение за один тест
Если в варианте B поменяли заголовок, цвет кнопки и форму сразу, результат ничего не объяснит: заявок больше - непонятно от чего, меньше - непонятно, что откатывать. Исключение одно: вы делаете страницу целиком заново и сравниваете её со старой. Тогда это тест версии, а детали внутри победителя проверяют потом.
Сколько трафика и времени нужно
Главная причина бессмысленных тестов не в кривых гипотезах, а в нехватке данных: на маленьких числах разница появляется и исчезает сама собой. Считайте не визиты, а заявки. Пока в каждом варианте не набралось хотя бы несколько десятков обращений, разница между 4 и 6 заявками не значит ничего.
Прикиньте объём заранее, до запуска, в два действия. Первое: возьмите конверсию страницы в заявку - в Яндекс Метрике это отчёт «Содержание - Страницы входа» с выбранной целью, доля визитов с достижением цели. Второе: разделите нужное число обращений на эту долю и умножьте на два варианта. При конверсии 3 процента и 40 обращениях на вариант получается 40 / 0,03 × 2, то есть около 2 700 визитов на страницу. Сравните с фактическим трафиком этой страницы за месяц: если он вдвое меньше, тест не доедет до вывода, и гипотезу надо брать крупнее.
- Тест должен идти полными неделями: будни и выходные ведут себя по-разному, обрезанная неделя перекашивает результат.
- Не останавливайте тест в день, когда вариант B вырвался вперёд. Назавтра он может вернуться назад, это нормальное колебание.
- Не меняйте рекламные кампании и бюджеты во время теста: вы поменяете аудиторию и сравните уже не варианты, а разные потоки людей.
- Если за месяц нужных чисел не собралось, тестировать мелочи бесполезно - проверяйте только крупные изменения, где эффект виден на глаз.
Чем технически проводить тест
Способов три, и выбор зависит не от бюджета, а от того, насколько сильно меняется страница.
| Способ | Когда подходит | Минус |
|---|---|---|
| Сервис тестирования (например, Varioqub от Яндекса, работает в связке с Метрикой) | Меняются текст, кнопка, порядок блоков | Скрипт подменяет элементы после загрузки, возможно мигание старого варианта |
| Две отдельные страницы | Версии различаются сильно, вплоть до структуры | Нужно развести трафик и закрыть одну копию от поиска |
| Последовательное сравнение | Трафика мало, вариант один | Строго говоря это не A/B-тест: сезон и реклама влияют на результат |
Последовательный способ - сравнить месяц до и месяц после правки - слабый, но на небольшом сайте часто единственный доступный. Вывод здесь не доказательство, а предположение, поэтому меняйте в такой схеме только то, что и без теста логично улучшить.
Если вторая версия живёт отдельной страницей, закройте дубль от индексации, иначе поисковик выберет сам, какую показывать. Подробнее о сравнении целых посадочных - в статье A/B-тесты лендинга.
Ошибки, которые обнуляют результат
Чаще всего тест проваливается не из-за инструмента, а из-за того, что сравнивали не то и не так.
- Метрика не про деньги. Время на странице выросло, глубина просмотра выросла, заявок столько же. Победил вариант, в котором людям сложнее найти форму.
- Остановка на красивой цифре. Тест прерван в момент случайного перевеса, изменение внедрено, конверсия вернулась к прежней.
- Разные источники в вариантах. Один вариант показывался в основном с рекламы, другой из поиска - сравнили аудитории, а не страницы.
- Несчитаемые обращения. Звонки и сообщения в мессенджер не учтены, а именно в них была разница. Победил вариант с большим числом форм и меньшим числом звонков.
- Правка в процессе. В середине теста поправили «мелочь» в одном из вариантов, и накопленные данные стали несопоставимы.
Отдельная ловушка - тест того, что и так сломано. Если форма не работает на телефоне, страница грузится семь секунд, а телефон не кликается, это не гипотезы для сравнения, а дефекты: их чинят сразу и без тестов.
Когда тестировать не нужно
A/B-тест - инструмент тонкой настройки. Он помогает, когда сайт в целом работает и вы ищете прирост. Если базовые вещи не сделаны, тестирование только отложит решение.
- Мало трафика и единицы обращений: данных не хватит, вывод будет случайным.
- Сайт морально устарел целиком: нет смысла проверять цвет кнопки, если вопрос в структуре и подаче. Это случай редизайна, а не теста.
- Не настроена аналитика: нечем измерять результат, а значит тест не состоится.
- Проблема в обработке, а не на сайте: заявки приходят, но до клиента никто не дозванивается. Сайт здесь ни при чём.
- Нет понятного предложения: цена, сроки и отличие от конкурентов не сформулированы. Никакой тест кнопки это не компенсирует.
Проверка простая: если вы не можете назвать цифру, которую хотите изменить, и причину уходов, тестировать пока нечего. Сначала нужны данные - откуда приходят люди, на каком шаге отваливаются, сколько обращений теряется между сайтом и отделом продаж. Эту картину даёт сквозная аналитика.
Что спросить у подрядчика перед запуском
Эти пять вопросов отсекают имитацию работы ещё до оплаты. Внятные ответы занимают пять минут, уклончивые говорят сами за себя.
- Какая метрика считается победой? Правильный ответ - заявки или сделки. Если звучит «вовлечённость», «время на сайте», «показатель отказов», дальше можно не продолжать.
- Сколько обращений нужно набрать на вариант и за какой срок? Должна быть цифра и расчёт из вашего трафика, а не «посмотрим по ходу».
- Чем разводится трафик и что будет с мобильной версией? Часто тест ставят только на компьютерах, а половина заявок приходит с телефона.
- Как учитываются звонки и мессенджеры? Если считаются только отправки формы, выигравший вариант может незаметно съедать звонки.
- Что получу на выходе? Нужен короткий отчёт: гипотеза, даты, объём данных по каждому варианту, вывод и рекомендация. Скриншот графика из сервиса отчётом не считается.
Рабочий порядок на практике
Чтобы тесты не превратились в бесконечную правку мелочей, держите один цикл и один список гипотез, отсортированный по силе влияния.
- Соберите цифры в Метрике: отчёт «Источники - Источники, сводка» с выбранной целью покажет, какие каналы дают заявки, «Содержание - Страницы входа» - конверсию по страницам, Вебвизор - на каком блоке люди разворачиваются.
- Выпишите гипотезы и расставьте по ожидаемому эффекту, а не по простоте внедрения.
- Посчитайте, сколько обращений нужно для вывода. Не наберётся за месяц - берите гипотезу крупнее.
- Запустите тест на полные недели, ничего больше не меняя.
- Сравните заявки и сделки, а не поведение. Запишите результат с датами и объёмом данных.
- Победителя внедрите, проигравшего сохраните с пометкой почему - через полгода это избавит от повторного спора.
Такой журнал со временем ценнее самих тестов: он показывает, что на вашей аудитории работает, а что уже проверяли и получили ноль. Без записей компания проверяет одно и то же по второму кругу при каждой смене подрядчика.
И если сайт не позволяет быстро менять блоки и формы, тестовой работы не получится в принципе: возможность править страницы без разработчика закладывают ещё на этапе разработки сайта.
Наши работы
Сайты, которые студия уже запустила
Четыре проекта N3MIROFF, которые можно открыть прямо сейчас и посмотреть, как они работают.
Агротех с ИИ
SkyFarm ↗
Редизайн сайта систем выращивания: первый экран с контейнерной фермой, схема работы из трёх шагов, карусель продуктов и экран приложения.
Сайт салона
ayvazzovsky.com ↗
Салон сложного окрашивания в Москве: онлайн-запись, видео работ, портфолио и команда. Переехал с Тильды на свой хостинг.
Онлайн-академия
ayvazzovsky.academy ↗
Видеоуроки колористики: каталог, посадочные страницы уроков, личный кабинет и промокоды.
Event-агентство
navsegda-event.ru ↗
НАВСЕГДА: корпоративы и конференции - услуги, кейсы, этапы работы и расчёт мероприятия.
Витрина магазина
Monkey Market ↗
Премиальная витрина магазина кроссовок с заказом в Telegram.
Услуги студии по теме: разработка сайтов под ключ и SEO-продвижение статьями.
Нужен сайт, который принимает заявки, а не просто существует?
Сделаем премиальный сайт на React за 1-2 недели от материалов, с заявками в Telegram или CRM.
Частые вопросы
Сколько должен идти A/B-тест?
Пока в каждом варианте не наберётся достаточно обращений для вывода, и обязательно полными неделями. Если мерить дни, вы поймаете случайный перевес. Если за месяц нужного объёма не собралось, значит гипотеза слишком мелкая для вашего трафика - берите изменение крупнее.
Можно ли проверить сразу несколько изменений?
Можно, но тогда вы сравниваете версии страницы целиком, а не элементы. Это нормальный подход, когда переделываете посадочную заново. Минус в том, что при любом исходе вы не узнаете, какая именно правка сработала, и дальше придётся тестировать детали отдельно.
Вредят ли A/B-тесты позициям в поиске?
Сам тест не вредит, если он сделан аккуратно. Проблемы начинаются, когда вторая версия живёт отдельной открытой для индексации страницей с почти тем же текстом: поисковик видит дубль. Копию закрывают от индексации, а после окончания теста оставляют один адрес.
Что делать, если разницы между вариантами нет?
Считать, что гипотеза не подтвердилась, и записать это. Отсутствие разницы - тоже результат: оно говорит, что причина ухода людей в другом месте. Чаще всего после пары таких тестов становится понятно, что дело не в оформлении, а в предложении или в цене.
С чего начать, если трафика совсем мало?
Не с тестов, а с наблюдения. Посмотрите записи визитов, спросите у обратившихся, что было непонятно, проверьте сайт на телефоне и скорость загрузки. На малом объёме очевидные дефекты дают больше прироста, чем любая статистика, а к тестам возвращаются, когда поток станет стабильным.
Посмотрим, что на вашем сайте стоит проверить первым
Скажем, где теряются заявки, что имеет смысл тестировать, а что можно починить сразу без теста.
Получить целевые заявки → Telegram